説明
GalaxeaVLAは、一般的なロボット操作のためのGalaxeaのビジョン・言語・アクション（VLA）モデルG0.5の背後にあるオープンソースコードリポジトリです。シーンを読み取って別のアクションネットワークに渡すためだけにビジョン・言語モデルを使用するのではなく、G0.5はVLMをアクターとして保持します：1つのトランスフォーマーデコーダーが同じ自己回帰ストリーム内で推論トークンとアクショントークンを生成します。このリポジトリには、実ロボットまたはシミュレーションでモデルを実行するために必要なトレーニングコード、事前学習済みのチェックポイント、デプロイメントエントリーポイントがホストされています。
続きを読む
このモデルは、マルチビューカメラ画像、具現化識別子、自然言語指示、およびロボットの固有状態に基づいて条件付けされます。最初に具現化された推論の短いチェーン（サブタスク、バウンディングボックス、2Dグリッパートレース、モーションヒント）を生成し、その後、同じシーケンス内で構造化されたアクショントークンに続き、これらは連続制御にデコードされ、次の観察が折り返される前にチャンクで実行されます。クロス具現化アクショントークナイザーは、異なるロボットアームと移動ベースを共有の27次元アクション空間にマッピングするため、1つのチェックポイントで異なる具現化を駆動できます。G0.5はまた、空間的・時間的注意メカニズムを通じて数秒間の視覚履歴を保持し、現在のフレームだけでなく最近の動きにも反応できます。
Galaxeaは、Hugging Faceでのゼロショットデプロイメントのために、独自のR1 LiteおよびR1 Proヒューマノイドロボット、SO-100/101アーム、DROID Frankaセットアップ、LIBEROおよびRoboTwin 2.0シミュレーションベンチマーク用のすぐに使用できるチェックポイントを公開しています。このリポジトリには、g05-baseチェックポイントに基づいたファインチューニングスクリプト、別のGPUおよびロボットマシン上でWebSocketを介して推論を実行するためのポリシーサーバー/クライアントアーキテクチャ、RLDSおよびLeRobot形式の実世界のモバイル操作デモの伴侶Galaxeaオープンワールドデータセットが含まれています。
これは、ゼロからVLAモデルを構築するのではなく、自分のハードウェア上で一般的な操作ポリシーをファインチューニングまたは展開したいロボティクス研究者やエンジニアを対象としています。事前学習済みモデルを実行するには、NVIDIA GPU（推論用に少なくとも8GB、完全なファインチューニングには70GB以上）、CUDA 12.8およびPyTorch 2.7.1を備えたLinux環境、flash-attnなどのネイティブCUDA拡張が必要です。現在のリリースは、以前のG0/G0Plusコードラインを上書きしており、メンテナは参照用に古いコミットを通じてのみアクセス可能にしています。
- カテゴリーロボティクスと AI ハードウェア
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームLinux
GalaxeaVLAの主要機能
推論トークンとアクショントークンを1つのトランスフォーマーデコーダーストリームで生成する統一された自己回帰VLAアーキテクチャ
アーム、グリッパー、移動ベースを共有の27次元アクション空間にマッピングするクロス具現化ActionCodec
タスク分解とオブジェクトグラウンディングのためのネイティブな思考の連鎖フィールド（サブタスク、バウンディングボックス、トレース、アクションヒント）
カメラ履歴に対する因子化された空間・時間的注意を介した数秒間の視覚メモリ
R1 Lite、R1 Pro、SO-100/101、DROID、LIBEROおよびRoboTwin 2.0用のタスク特化型チェックポイントを含む事前学習済みg05-baseチェックポイント
サーバー/クライアントデプロイメントアーキテクチャ：GPUマシン上のポリシーサーバーとWebSocketおよびmsgpackを介したロボット側クライアント
torchrunを介したマルチGPU分散データ並列サポートを備えたファインチューニングスクリプト
RLDSおよびLeRobot形式の実世界のモバイル操作データ（500時間以上）の伴侶Galaxeaオープンワールドデータセット
GalaxeaVLAをはじめる
インストール：リポジトリをクローンし、uv syncで環境を設定し、仮想環境をアクティブにします。
チェックポイントのダウンロード：Hugging FaceからG05モデルファイルをローカルのcheckpoints/フォルダーにプルします。
ポリシーサーバーの起動：選択したチェックポイントでscripts/serve_policy.pyをCUDA GPU上で実行します。
ロボットクライアントの接続：ターゲット具現化のconfig.tomlにサーバーアドレスを設定し、そのクライアント（R1 Lite、R1 Pro、SO-100/101またはDROID）を起動します。
ファインチューニング（オプション）：g05-baseチェックポイントに対してscripts/run/finetune.shを実行し、新しいタスクまたはロボットにモデルを適応させます。
GalaxeaVLAの使用例
- ヒューマノイド操作研究
- 低コストアーム展開
- シミュレーションベンチマーキング
- カスタムロボットファインチューニング
