Descrição
Octo representa uma iniciativa contínua para desenvolver políticas generalistas de código aberto e amplamente aplicáveis para manipulação robótica. O núcleo do Octo é uma política de difusão baseada em transformador, meticulosamente pré-treinada em 800.000 episódios de robô originados do abrangente conjunto de dados Open X-Embodiment. Este extenso pré-treinamento equipa o Octo com uma base robusta para entender e executar uma gama diversificada de tarefas robóticas.
A filosofia de design por trás do Octo enfatiza tanto a flexibilidade quanto a escalabilidade. Ele é projetado para acomodar uma variedade de robôs comumente utilizados, configurações de sensores e espaços de ação. Essa arquitetura genérica e escalável permite o treinamento em conjuntos de dados massivos, resultando em um modelo altamente adaptável. O Octo suporta múltiplas modalidades de entrada para especificação de tarefas, incluindo instruções em linguagem natural e imagens de destino. Ele também pode processar históricos de observação e gerar distribuições de ação multimodais através de decodificação de difusão.
Uma força chave do Octo reside em seu suporte para ajuste fino eficiente. Essa capacidade permite que a política seja rapidamente adaptada a novas configurações de robôs, incluindo aquelas com diferentes espaços de ação ou combinações variadas de câmeras e sensores proprioceptivos. Essa escolha de design torna o Octo uma política robótica generalista versátil e amplamente aplicável, adequada para inúmeras aplicações de robótica downstream e projetos de pesquisa.
O Octo é treinado em uma mistura diversificada de 25 conjuntos de dados do Open X-Embodiment Dataset, abrangendo uma ampla gama de corpos de robôs, cenas e tarefas. A heterogeneidade desses conjuntos de dados, em termos de tipos de robôs, sensores (por exemplo, com ou sem câmeras de pulso) e rótulos (por exemplo, com ou sem instruções de linguagem), contribui para as robustas capacidades de generalização do Octo.
Avaliações do Octo foram realizadas em nove configurações de robôs do mundo real em quatro instituições diferentes. Essas avaliações cobrem interações diversas de objetos, horizontes de tarefas longos e tarefas de manipulação precisas. O Octo demonstra forte desempenho imediato em ambientes de seus dados de pré-treinamento e se destaca no ajuste fino eficiente para novas tarefas e ambientes com pequenos conjuntos de dados de domínio alvo. Ele também mostra notável adaptabilidade a novas observações, como entradas de força-torque, e novos espaços de ação, como controle de posição de junta, tornando-o uma ferramenta poderosa para pesquisa e desenvolvimento avançado em robótica.
Destaques de Octo Robot Policy
Arquitetura de política de difusão baseada em transformador
Pré-treinado em 800.000 episódios de robô do conjunto de dados Open X-Embodiment
Suporta instruções em linguagem natural para especificação de tarefas
Suporta condicionamento de imagem de destino para especificação de tarefas
Acomoda históricos de observação
Gera distribuições de ação multimodais via decodificação de difusão
Projetado para ajuste fino eficiente para novos espaços de observação e ação
Disponível em duas versões: Octo-Small (27M parâmetros) e Octo-Base (93M parâmetros)
Avaliado em 9 configurações de robôs reais em 4 instituições
Supera o RT-1-X em condicionamento de linguagem zero-shot
Desempenho comparável ao RT-2-X
Alcança maior desempenho com condicionamento de imagem de destino em tarefas WidowX
Demonstra desempenho de ajuste fino superior em comparação com treinamento do zero ou com pesos VC-1
Primeiros passos com Octo Robot Policy
Acessar Modelo: Obtenha os pesos e o código do modelo Octo dos repositórios fornecidos.
Configurar Ambiente: Configure seu ambiente de simulação ou hardware de robótica.
Integrar Política: Carregue o modelo Octo e defina seus espaços de observação e ação.
Especificação de Tarefa: Forneça instruções de tarefa via linguagem natural ou imagens de destino.
Controle do Robô: Execute a política para controlar as ações do robô.
Ajustar Modelo: Adapte o Octo a novas tarefas ou ambientes usando demonstrações alvo.
Casos de uso de Octo Robot Policy
- Manipulação Robótica Geral
- Ajuste Fino Específico para Tarefas
- Instrução de Tarefa Multimodal
- Plataforma de Pesquisa em Robótica
- Adaptação de Configuração de Sensor
- Flexibilidade de Espaço de Ação
