Octo Robot Policy

A filosofia de design por trás do Octo enfatiza tanto a flexibilidade quanto a escalabilidade. Ele é projetado para acomodar uma variedade de robôs comumente utilizados, configurações de sensores e espaços de ação. Essa arquitetura genérica e escalável permite o treinamento em conjuntos de dados massivos, resultando em um modelo altamente adaptável. O Octo suporta múltiplas modalidades de entrada para especificação de tarefas, incluindo instruções em linguagem natural e imagens de destino. Ele também pode processar históricos de observação e gerar distribuições de ação multimodais através de decodificação de difusão.

Uma força chave do Octo reside em seu suporte para ajuste fino eficiente. Essa capacidade permite que a política seja rapidamente adaptada a novas configurações de robôs, incluindo aquelas com diferentes espaços de ação ou combinações variadas de câmeras e sensores proprioceptivos. Essa escolha de design torna o Octo uma política robótica generalista versátil e amplamente aplicável, adequada para inúmeras aplicações de robótica downstream e projetos de pesquisa.

O Octo é treinado em uma mistura diversificada de 25 conjuntos de dados do Open X-Embodiment Dataset, abrangendo uma ampla gama de corpos de robôs, cenas e tarefas. A heterogeneidade desses conjuntos de dados, em termos de tipos de robôs, sensores (por exemplo, com ou sem câmeras de pulso) e rótulos (por exemplo, com ou sem instruções de linguagem), contribui para as robustas capacidades de generalização do Octo.

Avaliações do Octo foram realizadas em nove configurações de robôs do mundo real em quatro instituições diferentes. Essas avaliações cobrem interações diversas de objetos, horizontes de tarefas longos e tarefas de manipulação precisas. O Octo demonstra forte desempenho imediato em ambientes de seus dados de pré-treinamento e se destaca no ajuste fino eficiente para novas tarefas e ambientes com pequenos conjuntos de dados de domínio alvo. Ele também mostra notável adaptabilidade a novas observações, como entradas de força-torque, e novos espaços de ação, como controle de posição de junta, tornando-o uma ferramenta poderosa para pesquisa e desenvolvimento avançado em robótica.