Descrição
GalaxeaVLA é o repositório de código aberto por trás do G0.5, o modelo de visão-linguagem-ação (VLA) da Galaxea para manipulação de robôs de uso geral. Em vez de usar um modelo de visão-linguagem apenas para ler uma cena e passar para uma rede de ação separada, o G0.5 mantém o VLM como o ator: um decodificador transformer gera tokens de raciocínio e tokens de ação no mesmo fluxo autorregressivo. O repositório hospeda o código de treinamento, pontos de verificação pré-treinados e pontos de entrada de implantação necessários para executar o modelo em robôs reais ou em simulação.
Ler mais
O modelo condiciona-se a imagens de câmeras de múltiplas vistas, um identificador de incorporação, uma instrução em linguagem natural e o estado proprioceptivo do robô. Ele pode primeiro gerar uma curta cadeia de raciocínio incorporado (subtarefa, caixa delimitadora, traço 2D do gripper, dica de movimento) e, em seguida, continuar com tokens de ação estruturados na mesma sequência, que são decodificados em controles contínuos e executados em partes antes que a próxima observação seja incorporada. Um tokenizador de ação de cruzamento de incorporação mapeia diferentes braços de robô e bases móveis em um espaço de ação compartilhado de 27 dimensões, de modo que um ponto de verificação possa controlar diferentes incorporações. O G0.5 também mantém vários segundos de histórico visual através de um mecanismo de atenção espaço-temporal para que possa reagir a movimentos recentes, não apenas ao quadro atual.
A Galaxea publica pontos de verificação prontos para uso no Hugging Face para implantação zero-shot em seus próprios robôs humanoides R1 Lite e R1 Pro, bem como para braços SO-100/101, a configuração DROID Franka e os benchmarks de simulação LIBERO e RoboTwin 2.0. O repositório inclui scripts de ajuste fino construídos sobre o ponto de verificação g05-base, uma arquitetura de servidor/clente de política para executar inferência via WebSocket em máquinas de GPU e robô separadas, e um conjunto de dados Galaxea Open-World de demonstrações de manipulação móvel do mundo real nos formatos RLDS e LeRobot.
É voltado para pesquisadores e engenheiros de robótica que desejam ajustar ou implantar uma política de manipulação de uso geral em seu próprio hardware, em vez de construir um modelo VLA do zero. Executar os modelos pré-treinados requer uma GPU NVIDIA (pelo menos 8GB para inferência, 70GB ou mais para ajuste fino completo), um ambiente Linux com CUDA 12.8 e PyTorch 2.7.1, e extensões nativas CUDA como flash-attn. A versão atual substitui a linha de código anterior G0/G0Plus, que os mantenedores mantêm acessível apenas através de um commit mais antigo para referência.
- CategoriaRobótica e hardware de IA
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasLinux
Recursos principais de GalaxeaVLA
Arquitetura VLA autorregressiva unificada que gera tokens de raciocínio e ação em um único fluxo de decodificador transformer
ActionCodec de cruzamento de incorporação mapeando braços, grippers e bases móveis em um espaço de ação compartilhado de 27 dimensões
Campos nativos de cadeia de pensamento (Subtarefa, BBox, Traço, Dica de Ação) para decomposição de tarefas e ancoragem de objetos
Memória visual de vários segundos via atenção espaço-temporal fatorada sobre o histórico da câmera
Ponto de verificação g05-base pré-treinado mais pontos de verificação específicos de tarefa para R1 Lite, R1 Pro, SO-100/101, DROID, LIBERO e RoboTwin 2.0
Arquitetura de implantação servidor/clente: um servidor de política em uma máquina GPU e um cliente do lado do robô via WebSocket e msgpack
Scripts de ajuste fino com suporte a dados paralelos distribuídos em múltiplas GPUs via torchrun
Conjunto de dados Galaxea Open-World (mais de 500 horas de dados de manipulação móvel do mundo real) nos formatos RLDS e LeRobot
Primeiros passos com GalaxeaVLA
Instalar: clone o repositório e configure o ambiente com uv sync, em seguida, ative o ambiente virtual
Baixar pontos de verificação: puxe os arquivos do modelo G05 do Hugging Face para uma pasta local checkpoints/
Iniciar o servidor de política: execute scripts/serve_policy.py com o ponto de verificação escolhido em uma GPU CUDA
Conectar o cliente do robô: defina o endereço do servidor no config.toml da incorporação alvo e inicie seu cliente (R1 Lite, R1 Pro, SO-100/101 ou DROID)
Ajustar (opcional): execute scripts/run/finetune.sh contra o ponto de verificação g05-base para adaptar o modelo a uma nova tarefa ou robô
Casos de uso de GalaxeaVLA
- Pesquisa em manipulação humanoide
- Implantação de braço de baixo custo
- Benchmarking de simulação
- Ajuste fino de robô personalizado
