RoboCat

Un défi majeur dans le développement de la robotique est le temps considérable requis pour collecter des données d'entraînement dans le monde réel. RoboCat y remédie en apprenant de nouvelles tâches avec un nombre remarquablement faible de démonstrations, aussi peu que 100, en s'appuyant sur un ensemble de données vaste et diversifié. Cela réduit considérablement la dépendance à l'égard de l'entraînement supervisé par l'homme, une étape cruciale vers la création de robots plus polyvalents et à usage général.

Basé sur le modèle multimodal Gato de Google DeepMind, RoboCat intègre des capacités de traitement du langage, de l'image et de l'action. Son entraînement implique une combinaison de l'architecture de Gato avec un ensemble substantiel de séquences d'images et d'actions de bras robotiques effectuant des centaines de tâches. Après l'entraînement initial, RoboCat entre dans un cycle d'auto-amélioration. Ce cycle comprend la collecte d'un ensemble limité de démonstrations pour une nouvelle tâche ou un nouveau robot, le réglage fin de RoboCat en un agent spécialisé, permettant à cet agent de s'entraîner intensivement et de générer de nouvelles données d'entraînement, l'intégration de ces données dans le jeu de données principal de RoboCat, puis le réentraînement de RoboCat sur le jeu de données élargi.

Ce processus itératif, stimulé par la génération autonome de données, permet à RoboCat d'améliorer continuellement ses performances. La dernière version de RoboCat bénéficie de millions de trajectoires, y compris des données auto-générées par des bras robotiques réels et simulés sur diverses tâches telles que la prise d'engrenages, l'empilement de blocs et la manipulation d'objets. Cette vaste expérience permet à RoboCat d'apprendre à opérer de nouveaux bras robotiques en quelques heures et de s'adapter à des préhenseurs et des entrées de contrôle plus complexes, atteignant des taux de succès élevés sur les tâches nécessitant précision et résolution de problèmes.

La nature auto-améliorante de RoboCat crée un cercle vertueux : plus il apprend de tâches, plus il devient apte à acquérir des compétences supplémentaires. Cela a entraîné une augmentation substantielle de son taux de succès sur des tâches inédites, plus que doublant les performances des versions précédentes. La capacité de RoboCat à apprendre de manière autonome et à s'auto-améliorer rapidement sur différents appareils robotiques est un développement essentiel pour la prochaine génération d'agents robotiques utiles et à usage général.