Beschreibung
GalaxeaVLA ist das Open-Source-Code-Repository hinter G0.5, Galaxea's Vision-Language-Action (VLA) Modell für die allgemeine Robotermanipulation. Anstatt ein Vision-Language-Modell nur zu verwenden, um eine Szene zu lesen und an ein separates Aktionsnetzwerk weiterzugeben, behält G0.5 das VLM als Akteur: Ein Transformer-Decoder generiert sowohl Denk- als auch Aktionstoken im gleichen autoregressiven Stream. Das Repository beherbergt den Trainingscode, vortrainierte Checkpoints und Bereitstellungseinstiegspunkte, die benötigt werden, um das Modell auf echten Robotern oder in Simulationen auszuführen.
Weiterlesen
Das Modell basiert auf Mehransicht-Kamerabildern, einer Identifikationsnummer für die Verkörperung, einer natürlichen Sprachbeschreibung und dem propriozeptiven Zustand des Roboters. Es kann zunächst eine kurze Kette verkörperten Denkens (Teilaufgabe, Begrenzungsrahmen, 2D-Griffverlauf, Bewegungsanzeige) generieren und dann in strukturierte Aktionstoken in derselben Sequenz fortfahren, die in kontinuierliche Steuerungen dekodiert und in Abschnitten ausgeführt werden, bevor die nächste Beobachtung wieder eingeklappt wird. Ein Cross-Embodiment-Aktionstokenizer ordnet verschiedene Roboterarme und mobile Basen in einen gemeinsamen 27-dimensionalen Aktionsraum, sodass ein Checkpoint verschiedene Verkörperungen steuern kann. G0.5 behält auch mehrere Sekunden visueller Historie durch einen spatio-temporalen Aufmerksamkeitsmechanismus, sodass es auf kürzliche Bewegungen reagieren kann, nicht nur auf den aktuellen Frame.
Galaxea veröffentlicht einsatzbereite Checkpoints auf Hugging Face für Zero-Shot-Bereitstellungen auf seinen eigenen R1 Lite und R1 Pro humanoiden Robotern sowie für SO-100/101 Arme, das DROID Franka Setup und die LIBERO und RoboTwin 2.0 Simulationsbenchmarks. Das Repository enthält Fine-Tuning-Skripte, die auf dem g05-base Checkpoint basieren, eine Server/Client-Architektur für die Durchführung von Inferenz über WebSocket auf separaten GPU- und Roboter-Maschinen sowie einen Begleit-Galaxea Open-World-Datensatz mit realen mobilen Manipulationsdemonstrationen im RLDS- und LeRobot-Format.
Es richtet sich an Robotikforscher und Ingenieure, die eine allgemeine Manipulationsrichtlinie auf ihrer eigenen Hardware feinabstimmen oder bereitstellen möchten, anstatt ein VLA-Modell von Grund auf neu zu erstellen. Der Betrieb der vortrainierten Modelle erfordert eine NVIDIA-GPU (mindestens 8 GB für Inferenz, 70 GB oder mehr für vollständiges Fine-Tuning), eine Linux-Umgebung mit CUDA 12.8 und PyTorch 2.7.1 sowie native CUDA-Erweiterungen wie flash-attn. Die aktuelle Version ersetzt die frühere G0/G0Plus-Codezeile, die die Maintainer nur über einen älteren Commit zur Verfügung halten.
- KategorieRobotik & KI-Hardware
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenLinux
GalaxeaVLA's Kernfunktionen
Vereinheitlichte autoregressive VLA-Architektur, die Denk- und Aktionstoken in einem Transformer-Decoder-Stream generiert
Cross-Embodiment ActionCodec, der Arme, Greifer und mobile Basen in einen gemeinsamen 27-dimensionalen Aktionsraum abbildet
Native Chain-of-Thought-Felder (Teilaufgabe, BBox, Verlauf, Aktionshinweis) für Aufgabenzerlegung und Objektverankerung
Mehrsekündiger visueller Speicher über faktorisierte räumlich-zeitliche Aufmerksamkeit über die Kamerahistorie
Vortrainierter g05-base Checkpoint sowie aufgaben-spezifische Checkpoints für R1 Lite, R1 Pro, SO-100/101, DROID, LIBERO und RoboTwin 2.0
Server/Client-Bereitstellungsarchitektur: ein Policy-Server auf einer GPU-Maschine und ein Roboter-Client über WebSocket und msgpack
Fine-Tuning-Skripte mit Multi-GPU-verteiltem Datenparallelismus über torchrun
Begleit-Galaxea Open-World-Datensatz (über 500 Stunden realer mobiler Manipulationsdaten) im RLDS- und LeRobot-Format
Erste Schritte mit GalaxeaVLA
Installieren: Klonen Sie das Repository und richten Sie die Umgebung mit uv sync ein, aktivieren Sie dann die virtuelle Umgebung
Checkpoints herunterladen: Ziehen Sie die G05-Modell-Dateien von Hugging Face in einen lokalen checkpoints/-Ordner
Policy-Server starten: Führen Sie scripts/serve_policy.py mit dem gewählten Checkpoint auf einer CUDA-GPU aus
Roboter-Client verbinden: Setzen Sie die Serveradresse in der config.toml der Zielverkörperung und starten Sie dessen Client (R1 Lite, R1 Pro, SO-100/101 oder DROID)
Fine-Tuning (optional): Führen Sie scripts/run/finetune.sh gegen den g05-base Checkpoint aus, um das Modell an eine neue Aufgabe oder einen neuen Roboter anzupassen
GalaxeaVLA's Anwendungsfälle
- Forschung zur humanoiden Manipulation
- Bereitstellung kostengünstiger Arme
- Simulationsbenchmarking
- Anpassung von Robotern durch Fine-Tuning
