Descripción
GalaxeaVLA es el repositorio de código abierto detrás de G0.5, el modelo de visión-lenguaje-acción (VLA) de Galaxea para la manipulación de robots de propósito general. En lugar de utilizar un modelo de visión-lenguaje solo para leer una escena y pasarla a una red de acción separada, G0.5 mantiene el VLM como el actor: un decodificador de transformador genera tokens de razonamiento y tokens de acción en el mismo flujo autorregresivo. El repositorio alberga el código de entrenamiento, puntos de control preentrenados y puntos de entrada de implementación necesarios para ejecutar el modelo en robots reales o en simulación.
Leer más
El modelo se condiciona en imágenes de cámaras de múltiples vistas, un identificador de encarnación, una instrucción en lenguaje natural y el estado propioceptivo del robot. Puede generar primero una breve cadena de razonamiento encarnado (subtarea, cuadro delimitador, traza 2D del agarre, pista de movimiento) y luego continuar con tokens de acción estructurados en la misma secuencia, que se decodifican en controles continuos y se ejecutan en fragmentos antes de que la siguiente observación se integre. Un tokenizador de acción de cruce de encarnaciones mapea diferentes brazos de robots y bases móviles en un espacio de acción compartido de 27 dimensiones, de modo que un solo punto de control puede manejar diferentes encarnaciones. G0.5 también mantiene varios segundos de historia visual a través de un mecanismo de atención espaciotemporal para poder reaccionar a movimientos recientes, no solo al cuadro actual.
Galaxea publica puntos de control listos para usar en Hugging Face para implementación en cero disparos en sus propios robots humanoides R1 Lite y R1 Pro, así como para brazos SO-100/101, la configuración DROID Franka y los benchmarks de simulación LIBERO y RoboTwin 2.0. El repositorio incluye scripts de ajuste fino construidos sobre el punto de control g05-base, una arquitectura de servidor/clente de políticas para ejecutar inferencias a través de WebSocket en máquinas de GPU y robots separadas, y un conjunto de datos complementario Galaxea Open-World de demostraciones de manipulación móvil en el mundo real en formatos RLDS y LeRobot.
Está dirigido a investigadores y ingenieros en robótica que desean ajustar o implementar una política de manipulación de propósito general en su propio hardware en lugar de construir un modelo VLA desde cero. Ejecutar los modelos preentrenados requiere una GPU NVIDIA (al menos 8GB para inferencia, 70GB o más para ajuste fino completo), un entorno Linux con CUDA 12.8 y PyTorch 2.7.1, y extensiones nativas de CUDA como flash-attn. La versión actual reemplaza la línea de código anterior G0/G0Plus, que los mantenedores mantienen accesible solo a través de un commit anterior para referencia.
- CategoríaRobótica y hardware de IA
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasLinux
Características principales de GalaxeaVLA
Arquitectura VLA autorregresiva unificada que genera tokens de razonamiento y acción en un solo flujo de decodificador de transformador
ActionCodec de cruce de encarnaciones que mapea brazos, agarres y bases móviles en un espacio de acción compartido de 27 dimensiones
Campos nativos de cadena de pensamiento (Subtarea, BBox, Traza, Pista de Acción) para la descomposición de tareas y la anclaje de objetos
Memoria visual de varios segundos a través de atención espaciotemporal factorizada sobre el historial de la cámara
Punto de control preentrenado g05-base más puntos de control específicos de tareas para R1 Lite, R1 Pro, SO-100/101, DROID, LIBERO y RoboTwin 2.0
Arquitectura de implementación servidor/clente: un servidor de políticas en una máquina GPU y un cliente del lado del robot a través de WebSocket y msgpack
Scripts de ajuste fino con soporte de datos paralelos distribuidos en múltiples GPU a través de torchrun
Conjunto de datos complementario Galaxea Open-World (más de 500 horas de datos de manipulación móvil en el mundo real) en formatos RLDS y LeRobot
Primeros pasos con GalaxeaVLA
Instalar: clonar el repositorio y configurar el entorno con uv sync, luego activar el entorno virtual
Descargar puntos de control: extraer los archivos del modelo G05 de Hugging Face en una carpeta local checkpoints/
Iniciar el servidor de políticas: ejecutar scripts/serve_policy.py con el punto de control elegido en una GPU CUDA
Conectar el cliente del robot: establecer la dirección del servidor en el config.toml de la encarnación objetivo y lanzar su cliente (R1 Lite, R1 Pro, SO-100/101 o DROID)
Ajustar (opcional): ejecutar scripts/run/finetune.sh contra el punto de control g05-base para adaptar el modelo a una nueva tarea o robot
Casos de uso de GalaxeaVLA
- Investigación en manipulación humanoide
- Implementación de brazos de bajo costo
- Evaluación de simulación
- Ajuste fino de robots personalizados
