Description
GalaxeaVLA est le dépôt de code open-source derrière G0.5, le modèle de vision-langage-action (VLA) de Galaxea pour la manipulation de robots à usage général. Au lieu d'utiliser un modèle de vision-langage uniquement pour lire une scène et transmettre à un réseau d'action séparé, G0.5 garde le VLM comme acteur : un décodeur transformer génère des tokens de raisonnement et des tokens d'action dans le même flux autoregressif. Le dépôt héberge le code d'entraînement, les points de contrôle préentraînés et les points d'entrée de déploiement nécessaires pour exécuter le modèle sur de vrais robots ou en simulation.
Lire la suite
Le modèle se conditionne sur des images de caméras multi-vues, un identifiant d'incarnation, une instruction en langage naturel et l'état proprioceptif du robot. Il peut d'abord générer une courte chaîne de raisonnement incarné (sous-tâche, boîte englobante, trace 2D du préhenseur, indice de mouvement) puis continuer avec des tokens d'action structurés dans la même séquence, qui sont décodés en contrôles continus et exécutés par morceaux avant que la prochaine observation ne soit intégrée. Un tokenizer d'action inter-incarnation mappe différents bras de robot et bases mobiles dans un espace d'action partagé de 27 dimensions, de sorte qu'un seul point de contrôle puisse piloter différentes incarnations. G0.5 conserve également plusieurs secondes d'historique visuel grâce à un mécanisme d'attention spatio-temporelle afin de pouvoir réagir à un mouvement récent, et pas seulement à la trame actuelle.
Galaxea publie des points de contrôle prêts à l'emploi sur Hugging Face pour un déploiement zéro-shot sur ses propres robots humanoïdes R1 Lite et R1 Pro, ainsi que pour les bras SO-100/101, la configuration DROID Franka, et les benchmarks de simulation LIBERO et RoboTwin 2.0. Le dépôt comprend des scripts de fine-tuning construits sur le point de contrôle g05-base, une architecture serveur/client pour exécuter l'inférence via WebSocket sur des machines GPU et robot séparées, et un ensemble de données compagnon Galaxea Open-World de démonstrations de manipulation mobile dans le format RLDS et LeRobot.
Il s'adresse aux chercheurs et ingénieurs en robotique qui souhaitent affiner ou déployer une politique de manipulation à usage général sur leur propre matériel plutôt que de construire un modèle VLA à partir de zéro. L'exécution des modèles préentraînés nécessite un GPU NVIDIA (au moins 8 Go pour l'inférence, 70 Go ou plus pour un fine-tuning complet), un environnement Linux avec CUDA 12.8 et PyTorch 2.7.1, et des extensions CUDA natives telles que flash-attn. La version actuelle remplace l'ancienne ligne de code G0/G0Plus, que les mainteneurs gardent accessible uniquement via un ancien commit pour référence.
- CatégorieRobotique et matériel IA
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesLinux
Fonctionnalités principales de GalaxeaVLA
Architecture VLA autoregressive unifiée qui génère des tokens de raisonnement et d'action dans un seul flux de décodeur transformer
ActionCodec inter-incarnation mappant bras, préhenseurs et bases mobiles dans un espace d'action partagé de 27 dimensions
Champs de chaîne de pensée natifs (Sous-tâche, BBox, Trace, ActionHint) pour la décomposition des tâches et l'ancrage des objets
Mémoire visuelle de plusieurs secondes via une attention spatio-temporelle factorisée sur l'historique des caméras
Point de contrôle g05-base préentraîné plus des points de contrôle spécifiques aux tâches pour R1 Lite, R1 Pro, SO-100/101, DROID, LIBERO et RoboTwin 2.0
Architecture de déploiement serveur/client : un serveur de politique sur une machine GPU et un client côté robot via WebSocket et msgpack
Scripts de fine-tuning avec support de données parallèles distribuées multi-GPU via torchrun
Ensemble de données compagnon Galaxea Open-World (plus de 500 heures de données de manipulation mobile réelles) dans les formats RLDS et LeRobot
Premiers pas avec GalaxeaVLA
Installer : cloner le dépôt et configurer l'environnement avec uv sync, puis activer l'environnement virtuel
Télécharger les points de contrôle : récupérer les fichiers du modèle G05 depuis Hugging Face dans un dossier local checkpoints/
Démarrer le serveur de politique : exécuter scripts/serve_policy.py avec le point de contrôle choisi sur un GPU CUDA
Connecter le client robot : définir l'adresse du serveur dans le config.toml de l'incarnation cible et lancer son client (R1 Lite, R1 Pro, SO-100/101 ou DROID)
Fine-tuning (optionnel) : exécuter scripts/run/finetune.sh contre le point de contrôle g05-base pour adapter le modèle à une nouvelle tâche ou robot
Cas d'utilisation de GalaxeaVLA
- Recherche en manipulation humanoïde
- Déploiement de bras à faible coût
- Évaluation de simulation
- Fine-tuning de robot personnalisé
