Descripción
RLDX-1 es un modelo base centrado en la destreza de RLWRLD para robots con manos de alta libertad de movimiento. Se enfoca en tareas que requieren control motor fino, como verter una bebida a medida que el recipiente se vuelve más ligero, rotar un objeto en la mano o agarrar algo que se mueve en una cinta transportadora, casos en los que los modelos típicos de visión-lenguaje-acción (VLA) fallan porque nunca se les proporcionaron las señales adecuadas: geometría mano-objeto, fuerza de contacto y temporización.
Leer más
El modelo utiliza una arquitectura que RLWRLD llama MSAT (Transformador de Acción de Múltiples Flujos), que proporciona a cada modalidad, visión, movimiento, torque y señales táctiles, y memoria, su propio flujo de procesamiento en lugar de forzar todo a través de un solo transformador. Esta estructura fue diseñada para abordar cinco regímenes de capacidad del propio benchmark DexBench de RLWRLD: diversidad de agarre, precisión espacial, precisión temporal, precisión de contacto y conciencia contextual. Componentes específicos manejan cada régimen, incluyendo un modelo de visión-lenguaje especializado para robots para razonamiento espacial, un Módulo de Movimiento para rastrear objetos de movimiento rápido, un Módulo de Física para detección de torque y contacto táctil, y un sistema de memoria y recuperación para tareas de múltiples pasos.
RLDX-1 se entrena con datos sintéticos de robots (escalados aproximadamente 5x a partir de un pequeño conjunto de teleoperación) más datos de demostración humana capturados de manos humanas desnudas y reorientados a manos robóticas, lo que produce más de 200 demostraciones por hora. El entrenamiento se lleva a cabo en tres etapas: pre-entrenamiento para manipulación general a través de encarnaciones, entrenamiento intermedio en plataformas objetivo que incluyen un humanoide ALLEX y un brazo Franka Research 3, y post-entrenamiento que utiliza recuperación basada en DAgger y aprendizaje por refuerzo consciente del progreso, lo que RLWRLD informa que permite a la política final completar tareas aproximadamente 3 veces más rápido que el aprendizaje por imitación solo.
RLDX-1 se entrega como tres puntos de control de 8.1 mil millones de parámetros, un modelo general preentrenado más dos versiones intermedias entrenadas para las plataformas ALLEX y DROID, con puntos de control públicos en Hugging Face, código en GitHub y un informe técnico en arXiv. RLWRLD lo compara con modelos que incluyen GR00T N1.5/N1.6 y la familia pi-0 en simulación, y en el benchmark del mundo real OpenArm, y reporta aceleraciones de inferencia de hasta 1.63x a través de compilación de gráficos estáticos y fusión de operadores. Está dirigido a investigadores en robótica y fabricantes industriales que trabajan en manipulación hábil en lugar de a usuarios finales.
- CategoríaRobótica y hardware de IA
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de RLDX-1
Modelo base centrado en la destreza para manos robóticas de alta libertad de movimiento
Arquitectura de Transformador de Acción de Múltiples Flujos (MSAT) con un flujo separado por modalidad
Modelo de visión-lenguaje especializado para robots para precisión espacial
Módulo de Movimiento para rastrear objetos de movimiento rápido
Módulo de Física para detección de torque y contacto táctil
Memoria y recuperación basada en DAgger para contexto de tareas de múltiples pasos
Entrenado con datos de demostración sintéticos y reorientados de humanos
Puntos de control públicos en Hugging Face, código en GitHub y un informe técnico en arXiv
Funciona en encarnaciones de un solo brazo, de doble brazo y humanoides
Primeros pasos con RLDX-1
Lee el informe: Revisa el informe técnico y los resultados de RLWRLD en arXiv.
Obtén los puntos de control: Descarga los puntos de control de RLDX-1 de la colección de Hugging Face de RLWRLD.
Obtén el código: Clona el repositorio de RLDX-1 en GitHub.
Elige un punto de control: Comienza desde RLDX-1-PT, o las versiones intermedias entrenadas ALLEX o DROID.
Ajusta para tu encarnación: Adapta el modelo a una mano robótica o plataforma específica.
Evalúa tu configuración: Compara los resultados con las cifras publicadas de DexBench y OpenArm de RLWRLD.
Casos de uso de RLDX-1
- Manipulación precisa
- Destreza industrial
- Investigación de robots humanoides
- Manejo de objetos dinámicos
