描述
GalaxeaVLA是G0.5的开源代码库,G0.5是Galaxea的视觉-语言-动作(VLA)模型,专为通用机器人操作而设计。G0.5并不是仅仅使用视觉-语言模型来读取场景并交给一个单独的动作网络,而是将VLM作为执行者:一个变换器解码器在同一个自回归流中生成推理令牌和动作令牌。该代码库托管了训练代码、预训练检查点和在真实机器人或模拟环境中运行模型所需的部署入口。
阅读更多
该模型基于多视角相机图像、一个体现标识符、自然语言指令和机器人的本体状态进行条件生成。它可以首先生成一条短的体现推理链(子任务、边界框、2D夹持轨迹、运动提示),然后继续生成结构化的动作令牌,这些令牌在同一序列中被解码为连续控制,并在下一个观察结果被折叠回之前分块执行。跨体现动作编码器将不同的机器人手臂和移动底盘映射到一个共享的27维动作空间,因此一个检查点可以驱动不同的体现。G0.5还通过时空注意机制保持几秒钟的视觉历史,以便能够对最近的运动做出反应,而不仅仅是当前帧。
Galaxea在Hugging Face上发布了可直接使用的检查点,以便在其自己的R1 Lite和R1 Pro人形机器人上进行零样本部署,以及SO-100/101手臂、DROID Franka设置和LIBERO与RoboTwin 2.0模拟基准。该代码库包括基于g05-base检查点构建的微调脚本、用于在独立GPU和机器人机器上通过WebSocket运行推理的策略服务器/客户端架构,以及伴随的Galaxea开放世界数据集,包含RLDS和LeRobot格式的真实移动操作演示。
该项目旨在为希望在自己的硬件上微调或部署通用操作策略的机器人研究人员和工程师提供支持,而不是从头构建VLA模型。运行预训练模型需要NVIDIA GPU(推理至少需要8GB,完全微调需要70GB或更多),Linux环境,CUDA 12.8和PyTorch 2.7.1,以及本地CUDA扩展,如flash-attn。当前版本取代了早期的G0/G0Plus代码行,维护者仅通过较早的提交保持对其的访问以供参考。
- 类别机器人与 AI 硬件
- 定价模式开源
- 部署云端
- 平台Linux
GalaxeaVLA的核心功能
统一的自回归VLA架构,在一个变换器解码器流中生成推理和动作令牌
跨体现ActionCodec将手臂、夹持器和移动底盘映射到共享的27维动作空间
本地思维链字段(子任务、边界框、轨迹、动作提示)用于任务分解和对象定位
通过对相机历史的因子化时空注意机制实现多秒视觉记忆
预训练的g05-base检查点以及针对R1 Lite、R1 Pro、SO-100/101、DROID、LIBERO和RoboTwin 2.0的任务特定检查点
服务器/客户端部署架构:在GPU机器上的策略服务器和通过WebSocket和msgpack的机器人端客户端
支持多GPU分布式数据并行的微调脚本,通过torchrun实现
伴随的Galaxea开放世界数据集(500多个小时的真实移动操作数据),以RLDS和LeRobot格式提供
GalaxeaVLA入门
安装:克隆代码库并使用uv sync设置环境,然后激活虚拟环境
下载检查点:从Hugging Face将G05模型文件拉取到本地checkpoints/文件夹
启动策略服务器:在CUDA GPU上运行scripts/serve_policy.py,使用所选检查点
连接机器人客户端:在目标体现的config.toml中设置服务器地址并启动其客户端(R1 Lite、R1 Pro、SO-100/101或DROID)
微调(可选):运行scripts/run/finetune.sh以g05-base检查点为基础,适应模型到新任务或机器人
GalaxeaVLA的使用案例
- 人形操作研究
- 低成本手臂部署
- 模拟基准测试
- 自定义机器人微调






