PaLM-E

L'innovation architecturale principale de PaLM-E réside dans sa méthode d'injection d'observations continues et incarnées dans l'espace d'intégration linguistique d'un modèle de langage pré-entraîné. Ceci est réalisé en encodant les données des capteurs dans une séquence de vecteurs qui partagent la même dimensionnalité que les intégrations de jetons du modèle de langage. Cela permet au modèle de traiter et de raisonner sur des entrées multimodales, y compris le texte, les images et les estimations d'état continues, de manière unifiée. PaLM-E est construit sur une architecture de modèle de langage de grande taille uniquement décodeur, spécifiquement PaLM, et étend ses capacités pour gérer les tâches incarnées.

PaLM-E a démontré des performances remarquables dans une variété de tâches de raisonnement incarné. Les évaluations montrent sa capacité à effectuer une planification séquentielle de manipulation robotique, à répondre à des questions visuelles et à générer des légendes. Un seul grand modèle multimodal incarné, PaLM-E, peut relever divers défis de raisonnement à travers différentes modalités d'observation et plusieurs incarnations robotiques. Notamment, il présente un transfert positif, ce qui signifie que ses performances bénéficient d'un entraînement conjoint sur d'immenses ensembles de données linguistiques, visuelles et visuo-linguistiques à l'échelle d'Internet. La variante la plus grande, PaLM-E-562B, excelle non seulement en robotique, mais fonctionne également comme un modèle généraliste vision-langage, atteignant des résultats de pointe sur des benchmarks tels que OK-VQA, tout en conservant ses capacités linguistiques généralistes à mesure que son échelle augmente.

Les applications pratiques du modèle sont illustrées par des exemples de tâches robotiques à long terme. PaLM-E peut interpréter des instructions telles que « apporte-moi les chips de riz du tiroir » ou « apporte-moi une étoile verte », en intégrant le retour visuel de la caméra d'un robot pour exécuter des plans en plusieurs étapes. Il peut également contrôler des robots pour organiser des blocs par couleur ou effectuer des tâches de poussée, en séquençant des commandes étape par étape à des politiques de bas niveau. De plus, PaLM-E présente des capacités de généralisation impressionnantes, exécutant avec succès des tâches telles que « pousser les blocs rouges vers la tasse à café » ou « pousser les blocs verts vers la tortue », même lorsque ces objets ou scénarios spécifiques ne faisaient pas partie de ses données d'entraînement directes. Cette adaptabilité souligne sa compréhension et ses capacités de raisonnement robustes dans des situations nouvelles.