説明
RLDX-1は、RLWRLDが提供する高自由度ハンドを持つロボット向けのデクスタリティファーストの基盤モデルです。飲み物を注ぐ際に容器が軽くなるときのような微細なモーター制御が必要なタスク、手の中での物体の回転、コンベヤー上で動く物体の把持など、典型的な視覚-言語-アクション（VLA）モデルが失敗するケースを対象としています。これらのモデルは、手と物体の幾何学、接触力、タイミングといった正しい信号を与えられていなかったためです。
続きを読む
このモデルは、RLWRLDがMSAT（マルチストリームアクショントランスフォーマー）と呼ぶアーキテクチャを使用しており、視覚、動作、トルク、触覚信号、メモリの各モダリティに独自の処理ストリームを与え、すべてを1つのトランスフォーマーに強制するのではなく、各モダリティを別々に処理します。この構造は、RLWRLD独自のDexBenchベンチマークからの5つの能力領域に対応するために構築されました：把持の多様性、空間的精度、時間的精度、接触精度、文脈認識です。特定のコンポーネントが各領域を処理し、空間的推論のためのロボット専用の視覚-言語モデル、高速移動物体を追跡するためのモーションモジュール、トルクと触覚センサーのための物理モジュール、マルチステップタスクのためのメモリと回復システムが含まれています。
RLDX-1は、合成ロボットデータ（小規模な遠隔操作セットから約5倍にスケール）と、素手の人間からキャプチャされた人間のデモデータを使用して訓練され、1時間あたり200以上のデモを生成します。訓練は3つの段階を経て行われます：全体的な操作のための事前訓練、ALLEXヒューマノイドやFranka Research 3アームを含むターゲットプラットフォームでの中間訓練、DAggerベースの回復と進捗認識強化学習を使用した後訓練です。RLWRLDによれば、最終的なポリシーは模倣学習のみよりも約3倍速くタスクを完了できるとのことです。
RLDX-1は、一般的な事前訓練モデルとALLEXおよびDROIDプラットフォーム用の2つの中間訓練バージョンを含む3つの81億パラメータのチェックポイントとして提供され、Hugging Faceでの公開チェックポイント、GitHubでのコード、arXivでの技術報告が含まれています。RLWRLDは、シミュレーションにおけるGR00T N1.5/N1.6やpi-0ファミリーなどのモデルに対してベンチマークを行い、OpenArmの実世界ベンチマークでも評価し、静的グラフコンパイルとオペレーターフュージョンを通じて最大1.63倍の推論速度向上を報告しています。これは、デクスタリティ操作に取り組むロボティクス研究者や産業メーカーを対象としており、エンドユーザー向けではありません。
- カテゴリーロボティクスと AI ハードウェア
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
RLDX-1のハイライト
高自由度ロボットハンド用のデクスタリティファースト基盤モデル
各モダリティごとに別々のストリームを持つマルチストリームアクショントランスフォーマー（MSAT）アーキテクチャ
空間的精度のためのロボット専用視覚-言語モデル
高速移動物体を追跡するためのモーションモジュール
トルクと触覚接触センサーのための物理モジュール
マルチステップタスクコンテキストのためのメモリとDAggerベースの回復
合成データと人間リターゲットデモデータで訓練
Hugging Faceでの公開チェックポイント、GitHubでのコード、arXivでの技術報告
単腕、双腕、ヒューマノイドの実装で動作
RLDX-1をはじめる
レポートを読む: RLWRLDの技術報告と結果をarXivで確認します。
チェックポイントを取得: RLWRLDのHugging FaceコレクションからRLDX-1のチェックポイントをダウンロードします。
コードを取得: GitHubでRLDX-1リポジトリをクローンします。
チェックポイントを選択: RLDX-1-PT、またはALLEXまたはDROIDの中間訓練バージョンから始めます。
実装に合わせてファインチューニング: 特定のロボットハンドまたはプラットフォームにモデルを適応させます。
セットアップをベンチマーク: RLWRLDが公開したDexBenchおよびOpenArmの数値と結果を比較します。
RLDX-1の使用例
- 精密操作
- 産業用デクスタリティ
- ヒューマノイドロボット研究
- 動的物体の取り扱い
