PaLM-E

A inovação arquitetural central do PaLM-E reside em seu método de injeção de observações contínuas e incorporadas no espaço de incorporação de linguagem de um modelo de linguagem pré-treinado. Isso é alcançado codificando dados de sensores em uma sequência de vetores que compartilham a mesma dimensionalidade que as incorporações de tokens do modelo de linguagem. Isso permite que o modelo processe e raciocine sobre entradas multimodais, incluindo texto, imagens e estimativas de estado contínuas, de maneira unificada. PaLM-E é construído sobre uma arquitetura de modelo de linguagem grande apenas com decodificador, especificamente PaLM, e estende suas capacidades para lidar com tarefas incorporadas.

PaLM-E demonstrou desempenho notável em uma variedade de tarefas de raciocínio incorporado. Avaliações mostram sua capacidade de realizar planejamento sequencial de manipulação robótica, resposta a perguntas visuais e legendagem. Um único e grande modelo multimodal incorporado, PaLM-E, pode lidar com diversos desafios de raciocínio em diferentes modalidades de observação e múltiplas incorporações robóticas. Notavelmente, ele exibe transferência positiva, o que significa que seu desempenho se beneficia do treinamento conjunto em extensos dados de linguagem, visão e linguagem visual em escala da internet. A maior variante, PaLM-E-562B, não só se destaca em robótica, mas também funciona como um modelo generalista de visão-linguagem, alcançando resultados de ponta em benchmarks como OK-VQA, ao mesmo tempo em que retém suas capacidades de linguagem generalista à medida que sua escala aumenta.

As aplicações práticas do modelo são ilustradas por meio de exemplos de tarefas robóticas de longo alcance. PaLM-E pode interpretar instruções como "traga-me os salgadinhos de arroz da gaveta" ou "traga-me uma estrela verde", incorporando feedback visual da câmera de um robô para executar planos de várias etapas. Ele também pode controlar robôs para organizar blocos por cor ou realizar tarefas de empurrar, sequenciando comandos passo a passo para políticas de baixo nível. Além disso, PaLM-E exibe impressionantes capacidades de generalização, executando com sucesso tarefas como "empurre blocos vermelhos para a xícara de café" ou "empurre blocos verdes para a tartaruga", mesmo quando esses objetos ou cenários específicos não faziam parte de seus dados de treinamento diretos. Essa adaptabilidade destaca sua compreensão robusta e habilidades de raciocínio em situações novas.