跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

GalaxeaVLA

GalaxeaVLA是Galaxea的开源代码库,支持G0.5,一个用于通用机器人控制的视觉-语言-动作模型。它打包了预训练的检查点、微调脚本和针对R1 Lite、R1 Pro、SO-100/101和DROID等平台的真实机器人部署代码。旨在为训练或在自己的硬件上部署操作策略的机器人研究人员和工程师提供支持。

查看仓库
分享
查看仓库
分享

GalaxeaVLA是G0.5的开源代码库,G0.5是Galaxea的视觉-语言-动作(VLA)模型,专为通用机器人操作而设计。G0.5并不是仅仅使用视觉-语言模型来读取场景并交给一个单独的动作网络,而是将VLM作为执行者:一个变换器解码器在同一个自回归流中生成推理令牌和动作令牌。该代码库托管了训练代码、预训练检查点和在真实机器人或模拟环境中运行模型所需的部署入口。

阅读更多

该模型基于多视角相机图像、一个体现标识符、自然语言指令和机器人的本体状态进行条件生成。它可以首先生成一条短的体现推理链(子任务、边界框、2D夹持轨迹、运动提示),然后继续生成结构化的动作令牌,这些令牌在同一序列中被解码为连续控制,并在下一个观察结果被折叠回之前分块执行。跨体现动作编码器将不同的机器人手臂和移动底盘映射到一个共享的27维动作空间,因此一个检查点可以驱动不同的体现。G0.5还通过时空注意机制保持几秒钟的视觉历史,以便能够对最近的运动做出反应,而不仅仅是当前帧。

Galaxea在Hugging Face上发布了可直接使用的检查点,以便在其自己的R1 Lite和R1 Pro人形机器人上进行零样本部署,以及SO-100/101手臂、DROID Franka设置和LIBERO与RoboTwin 2.0模拟基准。该代码库包括基于g05-base检查点构建的微调脚本、用于在独立GPU和机器人机器上通过WebSocket运行推理的策略服务器/客户端架构,以及伴随的Galaxea开放世界数据集,包含RLDS和LeRobot格式的真实移动操作演示。

该项目旨在为希望在自己的硬件上微调或部署通用操作策略的机器人研究人员和工程师提供支持,而不是从头构建VLA模型。运行预训练模型需要NVIDIA GPU(推理至少需要8GB,完全微调需要70GB或更多),Linux环境,CUDA 12.8和PyTorch 2.7.1,以及本地CUDA扩展,如flash-attn。当前版本取代了早期的G0/G0Plus代码行,维护者仅通过较早的提交保持对其的访问以供参考。

  • 类别机器人与 AI 硬件
  • 定价模式开源
  • 部署云端
  • 平台Linux

  • 统一的自回归VLA架构,在一个变换器解码器流中生成推理和动作令牌

  • 跨体现ActionCodec将手臂、夹持器和移动底盘映射到共享的27维动作空间

  • 本地思维链字段(子任务、边界框、轨迹、动作提示)用于任务分解和对象定位

  • 通过对相机历史的因子化时空注意机制实现多秒视觉记忆

  • 预训练的g05-base检查点以及针对R1 Lite、R1 Pro、SO-100/101、DROID、LIBERO和RoboTwin 2.0的任务特定检查点

  • 服务器/客户端部署架构:在GPU机器上的策略服务器和通过WebSocket和msgpack的机器人端客户端

  • 支持多GPU分布式数据并行的微调脚本,通过torchrun实现

  • 伴随的Galaxea开放世界数据集(500多个小时的真实移动操作数据),以RLDS和LeRobot格式提供

  1. 安装:克隆代码库并使用uv sync设置环境,然后激活虚拟环境

  2. 下载检查点:从Hugging Face将G05模型文件拉取到本地checkpoints/文件夹

  3. 启动策略服务器:在CUDA GPU上运行scripts/serve_policy.py,使用所选检查点

  4. 连接机器人客户端:在目标体现的config.toml中设置服务器地址并启动其客户端(R1 Lite、R1 Pro、SO-100/101或DROID)

  5. 微调(可选):运行scripts/run/finetune.sh以g05-base检查点为基础,适应模型到新任务或机器人

  • 人形操作研究
  • 低成本手臂部署
  • 模拟基准测试
  • 自定义机器人微调

GalaxeaVLA 评价

加载中...

与 GalaxeaVLA 类似的热门AI工具

NVIDIA Isaac GR00T N1.7 是一个开放的基础模型,旨在用于类人机器人推理和技能。它处理多模态输入以执行操作任务,使开发人员能够针对不同环境中的特定应用进行后训练。

机器人与 AI 硬件
查看工具

NVIDIA Isaac GR00T N1.7 是一个开放的基础模型,旨在用于类人机器人推理和技能。它处理多模态输入以执行操作任务,使开发人员能够针对不同环境中的特定应用进行后训练。

精选机器人与 AI 硬件
查看 AI 模型 Top 5

LLaVA

AI GitHub 仓库

LLaVA 是一个视觉指令调优模型,结合了大型语言和视觉能力。其目标是达到 GPT-4V 级别的性能,实现多模态理解和交互。该项目为研究人员和开发者提供了代码、模型和资源。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

视觉指令调优模型,结合了大型语言和视觉能力。其目标是达到 GPT-4V 级别的性能,实现多模态理解和交互。该项目为研究人员和开发者提供了代码、模型和资源。LLaVA 是一个视觉指令调优模型,结合了大型语言和视觉能力。其目标是达到 GPT-4V 级别的性能,实现多模态理解和交互。该项目为研究人员和开发者提供了代码、模型和资源。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Octo 是一款开源的通用机器人策略,专为机器人操作的广泛应用而设计。这款基于 Transformer 的扩散策略在大型数据集上进行了预训练,支持灵活的任务定义和高效的微调以适应新的观察和动作空间,使其能够适应各种机器人应用。

机器人与 AI 硬件
查看工具

开源的通用机器人策略,专为机器人操作的广泛应用而设计。这款基于 Transformer 的扩散策略在大型数据集上进行了预训练,支持灵活的任务定义和高效的微调以适应新的观察和动作空间,使其能够适应各种机器人应用。Octo 是一款开源的通用机器人策略,专为机器人操作的广泛应用而设计。这款基于 Transformer 的扩散策略在大型数据集上进行了预训练,支持灵活的任务定义和高效的微调以适应新的观察和动作空间,使其能够适应各种机器人应用。

机器人与 AI 硬件
查看 AI 模型 Top 5

RLDX-1

AI 模型

RLDX-1是RLWRLD为灵巧机器人手设计的基础模型。它能够处理诸如倒水、手中旋转和反应性抓取等任务,这些任务通常会让标准的视觉-语言-动作模型感到困扰。该模型将视觉、运动和触觉作为独立的流进行处理,并可在具有高自由度手的单臂、双臂和类人机器人上运行。

机器人与 AI 硬件制造与工业

机器人与 AI 硬件 排名第 24 位

查看工具

AI 模型

RLWRLD为灵巧机器人手设计的基础模型。它能够处理诸如倒水、手中旋转和反应性抓取等任务,这些任务通常会让标准的视觉-语言-动作模型感到困扰。该模型将视觉、运动和触觉作为独立的流进行处理,并可在具有高自由度手的单臂、双臂和类人机器人上运行。RLDX-1是RLWRLD为灵巧机器人手设计的基础模型。它能够处理诸如倒水、手中旋转和反应性抓取等任务,这些任务通常会让标准的视觉-语言-动作模型感到困扰。该模型将视觉、运动和触觉作为独立的流进行处理,并可在具有高自由度手的单臂、双臂和类人机器人上运行。

机器人与 AI 硬件制造与工业
机器人与 AI 硬件 排名第 24 位

NVIDIA 艾萨克是一个开放的机器人开发平台,提供库、框架和 AI 模型,以加速自主移动机器人 (AMRs)、机器人手臂、操纵器和类人机器人开发。

机器人与 AI 硬件制造与工业
查看工具

MiniGPT-4 & MiniGPT-v2

AI GitHub 仓库

MiniGPT-4 和 MiniGPT-v2 的开源代码,先进的大型语言模型,增强视觉-语言理解能力。这些模型支持视觉-语言任务的多任务学习,提供图像理解和生成能力。它们基于 Llama 2 和 Vicuna 模型构建,为研究人员和开发人员提供了强大的工具。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

MiniGPT-4 和 MiniGPT-v2 的开源代码,先进的大型语言模型,增强视觉-语言理解能力。这些模型支持视觉-语言任务的多任务学习,提供图像理解和生成能力。它们基于 Llama 2 和 Vicuna 模型构建,为研究人员和开发人员提供了强大的工具。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

UNITER

AI GitHub 仓库

UNITER 是 ECCV 2020 论文“UNITER: UNiversal Image-TExt Representation Learning”的研究代码库。它提供了用于各种视觉-语言任务(包括 VQA、VCR 和图像-文本检索)的微调和推理代码。UNITER-base 和 UNITER-large 的预训练检查点均可用。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

ECCV 2020 论文“UNITER: UNiversal Image-TExt Representation Learning”的研究代码库。它提供了用于各种视觉-语言任务(包括 VQA、VCR 和图像-文本检索)的微调和推理代码。UNITER-base 和 UNITER-large 的预训练检查点均可用。UNITER 是 ECCV 2020 论文“UNITER: UNiversal Image-TExt Representation Learning”的研究代码库。它提供了用于各种视觉-语言任务(包括 VQA、VCR 和图像-文本检索)的微调和推理代码。UNITER-base 和 UNITER-large 的预训练检查点均可用。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Qwen3-VL

AI GitHub 仓库

Qwen3-VL 是阿里云 Qwen 团队推出的一系列视觉语言模型,提供密集型和专家混合型两种规模,包含指令版和推理版("思考")。它能够同时读取图像、视频和文本,具有原生 256K 上下文窗口,可扩展至 1M,并具备用于 GUI 自动化、OCR 和空间推理的功能。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

阿里云 Qwen 团队推出的一系列视觉语言模型,提供密集型和专家混合型两种规模,包含指令版和推理版("思考")。它能够同时读取图像、视频和文本,具有原生 256K 上下文窗口,可扩展至 1M,并具备用于 GUI 自动化、OCR 和空间推理的功能。Qwen3-VL 是阿里云 Qwen 团队推出的一系列视觉语言模型,提供密集型和专家混合型两种规模,包含指令版和推理版("思考")。它能够同时读取图像、视频和文本,具有原生 256K 上下文窗口,可扩展至 1M,并具备用于 GUI 自动化、OCR 和空间推理的功能。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250
1/8