Deskripsi
GalaxeaVLA adalah repositori kode sumber terbuka di balik G0.5, model bahasa-visual-aksi (VLA) Galaxea untuk manipulasi robot umum. Alih-alih menggunakan model bahasa-visual hanya untuk membaca suatu adegan dan menyerahkannya ke jaringan aksi terpisah, G0.5 mempertahankan VLM sebagai aktor: satu dekoder transformer menghasilkan token penalaran dan token aksi dalam aliran autoregresif yang sama.
Baca Selengkapnya
Repositori ini menyimpan kode pelatihan, titik pemeriksaan yang sudah dilatih sebelumnya, dan titik masuk penerapan yang diperlukan untuk menjalankan model pada robot nyata atau dalam simulasi.
Model ini mengkondisikan pada gambar kamera multi-view, pengidentifikasi tubuh, instruksi bahasa alami, dan keadaan proprioseptif robot. Model ini dapat terlebih dahulu menghasilkan rantai penalaran yang terwujud (subtugas, kotak pembatas, jejak gripper 2D, petunjuk gerakan) dan kemudian melanjutkan ke token aksi terstruktur dalam urutan yang sama, yang didekodekan menjadi kontrol kontinu dan dieksekusi dalam potongan sebelum pengamatan berikutnya dilipat kembali. Tokenizer aksi lintas-wujud memetakan lengan robot yang berbeda dan basis mobile ke dalam ruang aksi 27-dimensi yang dibagikan, sehingga satu titik pemeriksaan dapat menggerakkan berbagai wujud. G0.5 juga menyimpan beberapa detik sejarah visual melalui mekanisme perhatian spatio-temporal sehingga dapat bereaksi terhadap gerakan terbaru, bukan hanya bingkai saat ini.
Galaxea menerbitkan titik pemeriksaan siap pakai di Hugging Face untuk penerapan zero-shot pada robot humanoid R1 Lite dan R1 Pro miliknya sendiri, serta untuk lengan SO-100/101, pengaturan DROID Franka, dan tolok ukur simulasi LIBERO dan RoboTwin 2.0. Repositori ini mencakup skrip fine-tuning yang dibangun di atas titik pemeriksaan g05-base, arsitektur server/klien kebijakan untuk menjalankan inferensi melalui WebSocket di mesin GPU dan robot terpisah, serta dataset Galaxea Open-World yang menyertai demonstrasi manipulasi mobile dunia nyata dalam format RLDS dan LeRobot.
Ini ditujukan untuk peneliti dan insinyur robotika yang ingin melakukan fine-tuning atau menerapkan kebijakan manipulasi umum pada perangkat keras mereka sendiri daripada membangun model VLA dari awal. Menjalankan model yang sudah dilatih sebelumnya memerlukan GPU NVIDIA (setidaknya 8GB untuk inferensi, 70GB atau lebih untuk fine-tuning penuh), lingkungan Linux dengan CUDA 12.8 dan PyTorch 2.7.1, serta ekstensi CUDA asli seperti flash-attn. Rilisan saat ini menggantikan garis kode G0/G0Plus sebelumnya, yang tetap dapat diakses hanya melalui komit yang lebih lama untuk referensi.
- KategoriRobotika & Perangkat Keras AI
- Model HargaOpen source
- PenerapanCloud
- PlatformLinux
Fitur Inti GalaxeaVLA
Arsitektur VLA autoregresif terpadu yang menghasilkan token penalaran dan aksi dalam satu aliran dekoder transformer
ActionCodec lintas-wujud yang memetakan lengan, gripper, dan basis mobile ke dalam ruang aksi 27-dimensi yang dibagikan
Bidang rantai-pemikiran asli (Subtugas, BBox, Jejak, PetunjukAksi) untuk dekomposisi tugas dan pengikatan objek
Memori visual multi-detik melalui perhatian spasial-temporal terfaktorisasi atas sejarah kamera
Titik pemeriksaan g05-base yang sudah dilatih sebelumnya ditambah titik pemeriksaan spesifik tugas untuk R1 Lite, R1 Pro, SO-100/101, DROID, LIBERO, dan RoboTwin 2.0
Arsitektur penerapan server/klien: server kebijakan di mesin GPU dan klien sisi robot melalui WebSocket dan msgpack
Skrip fine-tuning dengan dukungan data-paralel multi-GPU terdistribusi melalui torchrun
Dataset Galaxea Open-World yang menyertai (500+ jam data manipulasi mobile dunia nyata) dalam format RLDS dan LeRobot
Memulai dengan GalaxeaVLA
Instal: kloning repositori dan siapkan lingkungan dengan uv sync, lalu aktifkan lingkungan virtual
Unduh titik pemeriksaan: tarik file model G05 dari Hugging Face ke dalam folder checkpoints/ lokal
Mulai server kebijakan: jalankan scripts/serve_policy.py dengan titik pemeriksaan yang dipilih di GPU CUDA
Sambungkan klien robot: atur alamat server di config.toml wujud target dan luncurkan kliennya (R1 Lite, R1 Pro, SO-100/101, atau DROID)
Fine-tune (opsional): jalankan scripts/run/finetune.sh terhadap titik pemeriksaan g05-base untuk menyesuaikan model dengan tugas atau robot baru
Kasus Penggunaan GalaxeaVLA
- Penelitian manipulasi humanoid
- Penerapan lengan biaya rendah
- Benchmarking simulasi
- Fine-tuning robot kustom
