Описание
GalaxeaVLA — это открытый кодовый репозиторий, лежащий в основе G0.5, модели взаимодействия между зрением, языком и действиями (VLA) от Galaxea для манипуляции роботами общего назначения. Вместо того чтобы использовать модель взаимодействия между зрением и языком только для анализа сцены и передачи управления отдельной сети действий, G0.5 использует VLM в качестве актера: один декодер трансформера генерирует токены рассуждений и токены действий в одном автогрессивном потоке.
Читать далее
Репозиторий содержит код для обучения, предобученные контрольные точки и точки развертывания, необходимые для работы модели на реальных роботах или в симуляции.
Модель основывается на многокамерных изображениях, идентификаторе воплощения, инструкции на естественном языке и проприоцептивном состоянии робота. Сначала она может генерировать короткую цепочку воплощенного рассуждения (подзадача, ограничивающая рамка, 2D-трассировка захвата, подсказка движения), а затем продолжать в структурированные токены действий в той же последовательности, которые декодируются в непрерывные управляющие сигналы и выполняются частями, прежде чем следующая наблюдаемая информация будет включена обратно. Токенизатор действий кросс-воплощения сопоставляет различные манипуляторы и мобильные базы в общее 27-мерное пространство действий, так что одна контрольная точка может управлять различными воплощениями. G0.5 также сохраняет несколько секунд визуальной истории через механизм пространственно-временного внимания, чтобы реагировать на недавние движения, а не только на текущий кадр.
Galaxea публикует готовые к использованию контрольные точки на Hugging Face для развертывания без обучения на своих собственных гуманоидных роботах R1 Lite и R1 Pro, а также для рук SO-100/101, установки DROID Franka и симуляционных бенчмарков LIBERO и RoboTwin 2.0. Репозиторий включает в себя скрипты дообучения, построенные на контрольной точке g05-base, архитектуру сервера/клиента для выполнения вывода через WebSocket на отдельных GPU и роботах, а также сопутствующий набор данных Galaxea Open-World Dataset с реальными демонстрациями мобильной манипуляции в форматах RLDS и LeRobot.
Он предназначен для исследователей и инженеров в области робототехники, которые хотят дообучить или развернуть политику манипуляции общего назначения на своем оборудовании, а не создавать модель VLA с нуля. Для работы предобученных моделей требуется GPU NVIDIA (не менее 8 ГБ для вывода, 70 ГБ или более для полного дообучения), среда Linux с CUDA 12.8 и PyTorch 2.7.1, а также нативные расширения CUDA, такие как flash-attn. Текущий релиз заменяет более раннюю линию кода G0/G0Plus, доступ к которой поддерживается только через более ранний коммит для справки.
- КатегорияРобототехника и AI-оборудование
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыLinux
Основные функции GalaxeaVLA
Единая автогрессивная архитектура VLA, которая генерирует токены рассуждений и действий в одном потоке декодера трансформера
Токенизатор действий кросс-воплощения, сопоставляющий руки, захваты и мобильные базы в общее 27-мерное пространство действий
Нативные поля цепочки рассуждений (Подзадача, Ограничивающая рамка, Трассировка, Подсказка действия) для декомпозиции задач и привязки объектов
Многосекундная визуальная память через факторизованное пространственно-временное внимание по истории камер
Предобученная контрольная точка g05-base плюс контрольные точки для конкретных задач для R1 Lite, R1 Pro, SO-100/101, DROID, LIBERO и RoboTwin 2.0
Архитектура развертывания сервер/клиент: сервер политики на GPU-устройстве и клиент на стороне робота через WebSocket и msgpack
Скрипты дообучения с поддержкой распределенного параллельного обучения на нескольких GPU через torchrun
Сопутствующий набор данных Galaxea Open-World Dataset (более 500 часов данных о реальной мобильной манипуляции) в форматах RLDS и LeRobot
Начало работы с GalaxeaVLA
Установка: клонируйте репозиторий и настройте окружение с помощью uv sync, затем активируйте виртуальное окружение
Скачивание контрольных точек: загрузите файлы модели G05 с Hugging Face в локальную папку checkpoints/
Запуск сервера политики: выполните scripts/serve_policy.py с выбранной контрольной точкой на GPU с CUDA
Подключение клиентского робота: установите адрес сервера в config.toml целевого воплощения и запустите его клиент (R1 Lite, R1 Pro, SO-100/101 или DROID)
Дообучение (по желанию): выполните scripts/run/finetune.sh против контрольной точки g05-base, чтобы адаптировать модель к новой задаче или роботу
Варианты использования GalaxeaVLA
- Исследования манипуляции гуманоидов
- Развертывание недорогих манипуляторов
- Бенчмаркинг симуляций
- Дообучение пользовательских роботов
