Descripción
Octo representa una iniciativa en curso para desarrollar políticas generalistas de código abierto y ampliamente aplicables para la manipulación robótica. El núcleo de Octo es una política de difusión basada en transformadores, meticulosamente preentrenada en 800.000 episodios de robots obtenidos del conjunto de datos integral Open X-Embodiment. Este extenso preentrenamiento equipa a Octo con una base sólida para comprender y ejecutar una amplia gama de tareas robóticas.
La filosofía de diseño detrás de Octo enfatiza tanto la flexibilidad como la escalabilidad. Está diseñado para acomodar una variedad de robots, configuraciones de sensores y espacios de acción comúnmente utilizados. Esta arquitectura genérica y escalable permite el entrenamiento en conjuntos de datos masivos, lo que lleva a un modelo altamente adaptable. Octo admite múltiples modalidades de entrada para la especificación de tareas, incluidas instrucciones en lenguaje natural e imágenes objetivo. También puede procesar historiales de observación y generar distribuciones de acción multimodales a través de la decodificación de difusión.
Una fortaleza clave de Octo radica en su soporte para un ajuste fino eficiente. Esta capacidad permite que la política se adapte rápidamente a nuevas configuraciones de robots, incluidas aquellas con diferentes espacios de acción o combinaciones variadas de cámaras y sensores propioceptivos. Esta elección de diseño hace de Octo una política robótica generalista versátil y ampliamente aplicable, adecuada para numerosas aplicaciones robóticas posteriores y proyectos de investigación.
Octo se entrena con una mezcla diversa de 25 conjuntos de datos del conjunto de datos Open X-Embodiment, que abarcan una amplia gama de encarnaciones de robots, escenas y tareas. La heterogeneidad de estos conjuntos de datos, en términos de tipos de robots, sensores (por ejemplo, con o sin cámaras de muñeca) y etiquetas (por ejemplo, con o sin instrucciones de lenguaje), contribuye a las sólidas capacidades de generalización de Octo.
Las evaluaciones de Octo se han realizado en nueve configuraciones de robots del mundo real en cuatro instituciones diferentes. Estas evaluaciones cubren diversas interacciones con objetos, horizontes de tareas largos y tareas de manipulación precisas. Octo demuestra un fuerte rendimiento "listo para usar" en entornos de sus datos de preentrenamiento y sobresale en el ajuste fino eficiente a nuevas tareas y entornos con pequeños conjuntos de datos de dominio objetivo. También muestra una notable adaptabilidad a nuevas observaciones, como entradas de fuerza-par, y nuevos espacios de acción, como el control de posición de las articulaciones, lo que lo convierte en una herramienta poderosa para la investigación y el desarrollo avanzados en robótica.
Aspectos destacados de Octo Robot Policy
Arquitectura de política de difusión basada en transformadores
Preentrenado en 800.000 episodios de robots del conjunto de datos Open X-Embodiment
Soporta instrucciones en lenguaje natural para la especificación de tareas
Soporta el condicionamiento de imágenes objetivo para la especificación de tareas
Acomoda historiales de observación
Genera distribuciones de acción multimodales a través de decodificación de difusión
Diseñado para un ajuste fino eficiente a nuevos espacios de observación y acción
Disponible en dos versiones: Octo-Small (27M parámetros) y Octo-Base (93M parámetros)
Evaluado en 9 configuraciones de robots reales en 4 instituciones
Supera a RT-1-X en condicionamiento de lenguaje "zero-shot"
Rendimiento comparable a RT-2-X
Logra un mayor rendimiento con condicionamiento de imagen objetivo en tareas WidowX
Demuestra un rendimiento de ajuste fino superior en comparación con el entrenamiento desde cero o con pesos VC-1
Primeros pasos con Octo Robot Policy
Acceder al Modelo: Obtenga los pesos y el código del modelo Octo de los repositorios proporcionados.
Configurar Entorno: Configure su entorno de simulación o hardware robótico.
Integrar Política: Cargue el modelo Octo y defina sus espacios de observación y acción.
Especificación de Tarea: Proporcione instrucciones de tarea a través de lenguaje natural o imágenes objetivo.
Control de Robot: Ejecute la política para controlar las acciones del robot.
Ajustar Modelo: Adapte Octo a nuevas tareas o entornos utilizando demostraciones objetivo.
Casos de uso de Octo Robot Policy
- Manipulación Robótica General
- Ajuste Fino Específico de Tareas
- Instrucción de Tareas Multimodal
- Plataforma de Investigación en Robótica
- Adaptación de Configuración de Sensores
- Flexibilidad del Espacio de Acción
