Beschreibung
RLDX-1 ist ein Geschicklichkeits-zuerst Fundamentmodell von RLWRLD für Roboter mit hochgradig beweglichen Händen. Es zielt auf Aufgaben ab, die eine feine motorische Kontrolle erfordern, wie das Ausgießen eines Getränks, während der Behälter leichter wird, das Drehen eines Objekts in der Hand oder das Greifen von etwas, das sich auf einem Förderband bewegt, Fälle, in denen typische Vision-Sprach-Aktions (VLA) Modelle scheitern, weil sie nie die richtigen Signale erhielten: Hand-Objekt-Geometrie, Kontaktkraft und Timing.
Weiterlesen
Das Modell verwendet eine Architektur, die RLWRLD als MSAT (Multi-Stream Action Transformer) bezeichnet, die jeder Modalität, Vision, Bewegung, Drehmoment und taktilen Signalen sowie Gedächtnis, einen eigenen Verarbeitungsstrom zuweist, anstatt alles durch einen einzigen Transformer zu zwingen. Diese Struktur wurde entwickelt, um fünf Fähigkeitsregime aus RLWRLDs eigenem DexBench-Benchmark zu adressieren: Greifvielfalt, räumliche Präzision, zeitliche Präzision, Kontaktpräzision und Kontextbewusstsein. Spezifische Komponenten kümmern sich um jedes Regime, einschließlich eines roboterspezialisierten Vision-Sprach-Modells für räumliches Denken, eines Bewegungsmoduls zur Verfolgung schnell bewegter Objekte, eines Physikmoduls für Drehmoment- und taktile Sensorik sowie eines Gedächtnis- und Wiederherstellungssystems für mehrstufige Aufgaben.
RLDX-1 wird auf synthetischen Roboter-Daten (ungefähr 5x skaliert von einem kleinen Teleoperationssatz) sowie menschlichen Demonstrationsdaten, die von nackten menschlichen Händen erfasst und auf Roboterhände umgelenkt wurden, trainiert, was mehr als 200 Demonstrationen pro Stunde ergibt. Das Training erfolgt in drei Phasen: Vortraining für allgemeine Manipulation über verschiedene Ausführungen, Mid-Training auf Zielplattformen einschließlich eines ALLEX-Humanoiden und eines Franka Research 3-Arms sowie Nachtraining, das DAgger-basierte Wiederherstellung und fortschrittsbewusstes verstärkendes Lernen verwendet, was RLWRLD berichtet, dass die endgültige Politik Aufgaben etwa 3x schneller abschließen kann als reines Imitationslernen.
RLDX-1 wird als drei 8,1 Milliarden Parameter umfassende Checkpoints ausgeliefert, ein allgemeines vortrainiertes Modell sowie zwei mid-trainierte Versionen für die ALLEX- und DROID-Plattformen, mit öffentlichen Checkpoints auf Hugging Face, Code auf GitHub und einem technischen Bericht auf arXiv. RLWRLD benchmarkt es gegen Modelle einschließlich GR00T N1.5/N1.6 und die pi-0-Familie in Simulationen sowie im OpenArm-Benchmark der realen Welt und berichtet von Geschwindigkeitssteigerungen bei der Inferenz von bis zu 1,63x durch statische Graphkompilierung und Operatorfusion. Es richtet sich an Robotikforscher und industrielle Hersteller, die an geschickter Manipulation arbeiten, und nicht an Endbenutzer.
- KategorieRobotik & KI-Hardware
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
RLDX-1 im Überblick
Geschicklichkeits-zuerst Fundamentmodell für hochgradig bewegliche Roboterhände
Multi-Stream Action Transformer (MSAT) Architektur mit einem separaten Stream pro Modalität
Roboter-spezialisiertes Vision-Sprach-Modell für räumliche Präzision
Bewegungsmodul zur Verfolgung schnell bewegter Objekte
Physikmodul für Drehmoment- und taktile Kontaktwahrnehmung
Gedächtnis und DAgger-basierte Wiederherstellung für mehrstufigen Aufgaben-Kontext
Trainiert auf synthetischen und menschlich-retargetierten Demonstrationsdaten
Öffentliche Checkpoints auf Hugging Face, Code auf GitHub und ein technischer Bericht auf arXiv
Funktioniert über Einarm-, Zweiarm- und humanoide Ausführungen
Erste Schritte mit RLDX-1
Bericht lesen: Überprüfen Sie den technischen Bericht und die Ergebnisse von RLWRLD auf arXiv.
Checkpoints erhalten: Laden Sie die RLDX-1 Checkpoints aus der Hugging Face Sammlung von RLWRLD herunter.
Code erhalten: Klonen Sie das RLDX-1 Repository auf GitHub.
Wählen Sie einen Checkpoint: Beginnen Sie mit RLDX-1-PT oder den mid-trainierten Versionen für ALLEX oder DROID.
Feinabstimmung für Ihre Ausführung: Passen Sie das Modell an eine spezifische Roboterhand oder Plattform an.
Benchmarking Ihrer Einrichtung: Vergleichen Sie die Ergebnisse mit den veröffentlichten DexBench- und OpenArm-Zahlen von RLWRLD.
RLDX-1's Anwendungsfälle
- Präzise Manipulation
- Industrielle Geschicklichkeit
- Forschung zu humanoiden Robotern
- Dynamische Objektbearbeitung
