Octo Robot Policy

La philosophie de conception derrière Octo met l'accent sur la flexibilité et la scalabilité. Elle est conçue pour accueillir une variété de robots couramment utilisés, de configurations de capteurs et d'espaces d'action. Cette architecture générique et évolutive permet un entraînement sur des ensembles de données massifs, conduisant à un modèle hautement adaptable. Octo prend en charge plusieurs modalités d'entrée pour la spécification des tâches, y compris les instructions en langage naturel et les images cibles. Il peut également traiter des historiques d'observation et générer des distributions d'actions multimodales via le décodage de diffusion.

Une force clé d'Octo réside dans son support pour un réglage fin efficace. Cette capacité permet d'adapter rapidement la politique à de nouvelles configurations de robots, y compris celles avec des espaces d'action différents ou des combinaisons variées de caméras et de capteurs proprioceptifs. Ce choix de conception fait d'Octo une politique robotique généraliste polyvalente et largement applicable, adaptée à de nombreuses applications robotiques en aval et projets de recherche.

Octo est entraîné sur un mélange diversifié de 25 ensembles de données de l'ensemble de données Open X-Embodiment, couvrant un large éventail d'incarnations de robots, de scènes et de tâches. L'hétérogénéité de ces ensembles de données, en termes de types de robots, de capteurs (par exemple, avec ou sans caméras de poignet) et d'étiquettes (par exemple, avec ou sans instructions linguistiques), contribue aux capacités de généralisation robustes d'Octo.

Les évaluations d'Octo ont été menées sur neuf configurations de robots du monde réel dans quatre institutions différentes. Ces évaluations couvrent diverses interactions avec des objets, de longs horizons de tâches et des tâches de manipulation précises. Octo démontre de solides performances prêtes à l'emploi dans des environnements issus de ses données de pré-entraînement et excelle dans le réglage fin efficace pour de nouvelles tâches et environnements avec de petits ensembles de données cibles. Il montre également une adaptabilité remarquable aux nouvelles observations, telles que les entrées force-couple, et aux nouveaux espaces d'action, comme le contrôle de la position des articulations, ce qui en fait un outil puissant pour la recherche et le développement avancés en robotique.