Descrição
RLDX-1 é um modelo base focado em destreza da RLWRLD para robôs com mãos de alta liberdade de movimento. Ele se destina a tarefas que exigem controle motor fino, como despejar uma bebida à medida que o recipiente fica mais leve, rotacionar um objeto na mão ou apreender algo que se move em uma esteira, casos em que modelos típicos de visão-linguagem-ação (VLA) falham porque nunca receberam os sinais corretos: geometria mão-objeto, força de contato e tempo.
Ler mais
O modelo utiliza uma arquitetura que a RLWRLD chama de MSAT (Multi-Stream Action Transformer), que dá a cada modalidade, visão, movimento, torque e sinais táteis, e memória, seu próprio fluxo de processamento em vez de forçar tudo através de um único transformador. Essa estrutura foi construída para abordar cinco regimes de capacidade do benchmark DexBench da própria RLWRLD: diversidade de apreensão, precisão espacial, precisão temporal, precisão de contato e consciência contextual. Componentes específicos lidam com cada regime, incluindo um modelo de visão-linguagem especializado para robôs para raciocínio espacial, um Módulo de Movimento para rastreamento de objetos em movimento rápido, um Módulo de Física para sensoriamento de torque e toque, e um sistema de memória e recuperação para tarefas de múltiplos passos.
RLDX-1 é treinado em dados sintéticos de robôs (escalados aproximadamente 5x a partir de um pequeno conjunto de teleoperação) além de dados de demonstração humana capturados de mãos humanas nuas e redirecionados para mãos robóticas, resultando em mais de 200 demonstrações por hora. O treinamento ocorre em três estágios: pré-treinamento para manipulação geral em diferentes encarnações, meio-treinamento em plataformas-alvo incluindo um humanoide ALLEX e um braço Franka Research 3, e pós-treinamento que utiliza recuperação baseada em DAgger e aprendizado por reforço consciente do progresso, que a RLWRLD relata permitir que a política final complete tarefas cerca de 3x mais rápido do que o aprendizado por imitação sozinho.
RLDX-1 é disponibilizado como três pontos de verificação de 8,1 bilhões de parâmetros, um modelo pré-treinado geral mais duas versões meio-treinadas para as plataformas ALLEX e DROID, com pontos de verificação públicos no Hugging Face, código no GitHub e um relatório técnico no arXiv. A RLWRLD o compara com modelos incluindo GR00T N1.5/N1.6 e a família pi-0 em simulação, e no benchmark do mundo real OpenArm, e relata acelerações de inferência de até 1,63x através de compilação de gráfico estático e fusão de operadores. É voltado para pesquisadores em robótica e fabricantes industriais que trabalham em manipulação ágil, em vez de usuários finais.
- CategoriaRobótica e hardware de IA
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de RLDX-1
Modelo base focado em destreza para mãos robóticas de alta liberdade de movimento
Arquitetura Multi-Stream Action Transformer (MSAT) com um fluxo separado por modalidade
Modelo de visão-linguagem especializado para robôs para precisão espacial
Módulo de Movimento para rastreamento de objetos em movimento rápido
Módulo de Física para sensoriamento de torque e toque
Memória e recuperação baseada em DAgger para contexto de tarefas de múltiplos passos
Treinado em dados de demonstração sintéticos e redirecionados de humanos
Pontos de verificação públicos no Hugging Face, código no GitHub e um relatório técnico no arXiv
Funciona em encarnações de braço único, braço duplo e humanoides
Primeiros passos com RLDX-1
Leia o relatório: Revise o relatório técnico e os resultados da RLWRLD no arXiv.
Obtenha os pontos de verificação: Baixe os pontos de verificação do RLDX-1 da coleção Hugging Face da RLWRLD.
Obtenha o código: Clone o repositório do RLDX-1 no GitHub.
Escolha um ponto de verificação: Comece com RLDX-1-PT, ou as versões meio-treinadas ALLEX ou DROID.
Ajuste para sua encarnação: Adapte o modelo para uma mão robótica ou plataforma específica.
Avalie sua configuração: Compare os resultados com os dados publicados da DexBench e OpenArm da RLWRLD.
Casos de uso de RLDX-1
- Manipulação precisa
- Destreza industrial
- Pesquisa em robôs humanoides
- Manipulação de objetos dinâmicos
