Octo Robot Policy

La filosofía de diseño detrás de Octo enfatiza tanto la flexibilidad como la escalabilidad. Está diseñado para acomodar una variedad de robots, configuraciones de sensores y espacios de acción comúnmente utilizados. Esta arquitectura genérica y escalable permite el entrenamiento en conjuntos de datos masivos, lo que lleva a un modelo altamente adaptable. Octo admite múltiples modalidades de entrada para la especificación de tareas, incluidas instrucciones en lenguaje natural e imágenes objetivo. También puede procesar historiales de observación y generar distribuciones de acción multimodales a través de la decodificación de difusión.

Una fortaleza clave de Octo radica en su soporte para un ajuste fino eficiente. Esta capacidad permite que la política se adapte rápidamente a nuevas configuraciones de robots, incluidas aquellas con diferentes espacios de acción o combinaciones variadas de cámaras y sensores propioceptivos. Esta elección de diseño hace de Octo una política robótica generalista versátil y ampliamente aplicable, adecuada para numerosas aplicaciones robóticas posteriores y proyectos de investigación.

Octo se entrena con una mezcla diversa de 25 conjuntos de datos del conjunto de datos Open X-Embodiment, que abarcan una amplia gama de encarnaciones de robots, escenas y tareas. La heterogeneidad de estos conjuntos de datos, en términos de tipos de robots, sensores (por ejemplo, con o sin cámaras de muñeca) y etiquetas (por ejemplo, con o sin instrucciones de lenguaje), contribuye a las sólidas capacidades de generalización de Octo.

Las evaluaciones de Octo se han realizado en nueve configuraciones de robots del mundo real en cuatro instituciones diferentes. Estas evaluaciones cubren diversas interacciones con objetos, horizontes de tareas largos y tareas de manipulación precisas. Octo demuestra un fuerte rendimiento "listo para usar" en entornos de sus datos de preentrenamiento y sobresale en el ajuste fino eficiente a nuevas tareas y entornos con pequeños conjuntos de datos de dominio objetivo. También muestra una notable adaptabilidad a nuevas observaciones, como entradas de fuerza-par, y nuevos espacios de acción, como el control de posición de las articulaciones, lo que lo convierte en una herramienta poderosa para la investigación y el desarrollo avanzados en robótica.