PaLM-E

La innovación arquitectónica central de PaLM-E radica en su método de inyectar observaciones continuas y corporizadas en el espacio de incrustación del lenguaje de un modelo de lenguaje preentrenado. Esto se logra codificando los datos del sensor en una secuencia de vectores que comparten la misma dimensionalidad que las incrustaciones de tokens del modelo de lenguaje. Esto permite que el modelo procese y razone sobre entradas multimodales, incluyendo texto, imágenes y estimaciones de estado continuas, de manera unificada. PaLM-E se basa en una arquitectura de modelo de lenguaje grande solo decodificador, específicamente PaLM, y extiende sus capacidades para manejar tareas corporizadas.

PaLM-E ha demostrado un rendimiento notable en una variedad de tareas de razonamiento corporizado. Las evaluaciones muestran su capacidad para realizar planificación de manipulación robótica secuencial, respuesta a preguntas visuales y subtitulado de imágenes. Un único modelo multimodal corporizado grande, PaLM-E, puede abordar diversos desafíos de razonamiento a través de diferentes modalidades de observación y múltiples encarnaciones robóticas. Notablemente, exhibe transferencia positiva, lo que significa que su rendimiento se beneficia del entrenamiento conjunto en extensos datos de lenguaje, visión y lenguaje visual a escala de Internet. La variante más grande, PaLM-E-562B, no solo sobresale en robótica, sino que también funciona como un modelo generalista de visión-lenguaje, logrando resultados de vanguardia en benchmarks como OK-VQA, al tiempo que conserva sus capacidades de lenguaje generalista a medida que aumenta su escala.

Las aplicaciones prácticas del modelo se ilustran a través de ejemplos de tareas robóticas de largo alcance. PaLM-E puede interpretar instrucciones como "tráeme las patatas fritas del cajón" o "tráeme una estrella verde", incorporando retroalimentación visual de la cámara de un robot para ejecutar planes de varios pasos. También puede controlar robots para organizar bloques por color o realizar tareas de empuje, secuenciando comandos paso a paso a políticas de bajo nivel. Además, PaLM-E exhibe impresionantes capacidades de generalización, ejecutando con éxito tareas como "empuja los bloques rojos a la taza de café" o "empuja los bloques verdes a la tortuga", incluso cuando estos objetos o escenarios específicos no formaban parte de sus datos de entrenamiento directos. Esta adaptabilidad resalta su sólida comprensión y sus capacidades de razonamiento en situaciones novedosas.