설명
GalaxeaVLA는 Galaxea의 일반 목적 로봇 조작을 위한 비전-언어-행동(VLA) 모델인 G0.5의 오픈 소스 코드 저장소입니다. G0.5는 비전-언어 모델을 사용하여 장면을 읽고 별도의 행동 네트워크에 전달하는 대신, VLM을 행위자로 유지합니다: 하나의 변환기 디코더가 동일한 자기 회귀 스트림에서 추론 토큰과 행동 토큰을 생성합니다. 이 저장소는 실제 로봇이나 시뮬레이션에서 모델을 실행하는 데 필요한 훈련 코드, 사전 훈련된 체크포인트 및 배포 진입점을 호스팅합니다.
더 읽기
모델은 다중 뷰 카메라 이미지, 구현 식별자, 자연어 지침 및 로봇의 고유 상태에 따라 조건을 설정합니다. 먼저 구현된 추론의 짧은 체인(하위 작업, 경계 상자, 2D 그리퍼 경로, 동작 힌트)을 생성한 다음, 동일한 시퀀스에서 구조화된 행동 토큰으로 계속 진행하여 연속 제어로 디코딩되고 다음 관찰이 다시 통합되기 전에 청크로 실행됩니다. 교차 구현 행동 토크나이저는 서로 다른 로봇 팔과 이동 기반을 공유 27차원 행동 공간으로 매핑하여 하나의 체크포인트가 서로 다른 구현을 구동할 수 있도록 합니다. G0.5는 또한 최근의 움직임에 반응할 수 있도록 시각적 이력을 몇 초 동안 유지하며, 현재 프레임뿐만 아니라 최근의 동작에도 반응할 수 있습니다.
Galaxea는 Hugging Face에서 R1 Lite 및 R1 Pro 휴머노이드 로봇, SO-100/101 팔, DROID Franka 설정, LIBERO 및 RoboTwin 2.0 시뮬레이션 벤치마크에 대한 제로샷 배포를 위한 즉시 사용 가능한 체크포인트를 게시합니다. 이 저장소에는 g05-base 체크포인트를 기반으로 한 미세 조정 스크립트, 별도의 GPU 및 로봇 머신에서 WebSocket을 통해 추론을 실행하기 위한 정책 서버/클라이언트 아키텍처, RLDS 및 LeRobot 형식의 실제 모바일 조작 시연을 위한 Galaxea Open-World Dataset이 포함되어 있습니다.
이 프로젝트는 자신의 하드웨어에서 일반 목적의 조작 정책을 미세 조정하거나 배포하고자 하는 로봇 연구자 및 엔지니어를 대상으로 하며, VLA 모델을 처음부터 구축할 필요가 없습니다. 사전 훈련된 모델을 실행하려면 NVIDIA GPU(추론을 위한 최소 8GB, 전체 미세 조정을 위한 70GB 이상)가 필요하며, CUDA 12.8 및 PyTorch 2.7.1이 설치된 Linux 환경과 flash-attn과 같은 네이티브 CUDA 확장이 필요합니다. 현재 릴리스는 이전 G0/G0Plus 코드 라인을 대체하며, 유지 관리자는 참조를 위해 이전 커밋을 통해서만 접근할 수 있도록 유지합니다.
- 카테고리로보틱스 및 AI 하드웨어
- 요금제오픈소스
- 배포클라우드
- 플랫폼Linux
GalaxeaVLA의 핵심 기능
추론 및 행동 토큰을 하나의 변환기 디코더 스트림에서 생성하는 통합 자기 회귀 VLA 아키텍처
팔, 그리퍼 및 이동 기반을 공유 27차원 행동 공간으로 매핑하는 교차 구현 ActionCodec
작업 분해 및 객체 고정을 위한 네이티브 사고의 연쇄 필드(하위 작업, 경계 상자, 경로, 행동 힌트)
카메라 이력에 대한 분리된 공간-시간 주의 메커니즘을 통한 다중 초 시각적 기억
R1 Lite, R1 Pro, SO-100/101, DROID, LIBERO 및 RoboTwin 2.0을 위한 작업별 체크포인트와 함께 제공되는 사전 훈련된 g05-base 체크포인트
정책 서버가 GPU 머신에 있고 로봇 측 클라이언트가 WebSocket 및 msgpack을 통해 연결되는 서버/클라이언트 배포 아키텍처
torchrun을 통한 다중 GPU 분산 데이터 병렬 지원을 갖춘 미세 조정 스크립트
RLDS 및 LeRobot 형식의 실제 모바일 조작 데이터(500시간 이상)를 포함하는 Galaxea Open-World Dataset
GalaxeaVLA 시작하기
설치: 저장소를 클론하고 uv sync로 환경을 설정한 후 가상 환경을 활성화합니다.
체크포인트 다운로드: Hugging Face에서 G05 모델 파일을 로컬 checkpoints/ 폴더로 가져옵니다.
정책 서버 시작: 선택한 체크포인트로 CUDA GPU에서 scripts/serve_policy.py를 실행합니다.
로봇 클라이언트 연결: 대상 구현의 config.toml에서 서버 주소를 설정하고 클라이언트를 실행합니다(R1 Lite, R1 Pro, SO-100/101 또는 DROID).
미세 조정(선택 사항): g05-base 체크포인트에 대해 scripts/run/finetune.sh를 실행하여 모델을 새로운 작업이나 로봇에 적응시킵니다.
GalaxeaVLA의 사용 사례
- 휴머노이드 조작 연구
- 저비용 팔 배포
- 시뮬레이션 벤치마킹
- 맞춤형 로봇 미세 조정
