Beschreibung
Inspiriert von den Fortschritten in der groß angelegten Sprachmodellierung hat Google DeepMind Gato entwickelt, einen einzelnen generalistischen Agenten, der über die Grenzen textbasierter Ausgaben hinaus agieren soll. Gato fungiert als multimodale, multi-task- und multi-embodiment-generalistische Policy. Das gleiche neuronale Netz mit identischen Gewichten kann vielfältige Aktivitäten ausführen, wie z. B. Atari-Spiele spielen, Bilder beschriften, an Gesprächen teilnehmen und Objekte mit einem realen Roboterarm manipulieren. Sein Entscheidungsprozess passt sich dynamisch an den bereitgestellten Kontext an und bestimmt, ob Text, Gelenkmomente, Tastendrücke oder andere Token-Formate ausgegeben werden sollen.
Weiterlesen
Während seiner Trainingsphase verarbeitet Gato Daten aus verschiedenen Aufgaben und Modalitäten, indem er sie in eine flache Sequenz von Token serialisiert. Diese Sequenz wird dann in Batches verarbeitet und von einem Transformer-Neuronales Netz verarbeitet, ähnlich denen, die in großen Sprachmodellen verwendet werden. Der Trainingsverlust wird maskiert, um sicherzustellen, dass sich Gato auf die Vorhersage von Aktions- und Textzielen konzentriert. Bei der Bereitstellung von Gato wird eine anfängliche Sequenz durch Tokenisierung eines Prompts gebildet, der eine Demonstration sein kann. Die Umgebung liefert dann die erste Beobachtung, die ebenfalls tokenisiert und an diese Sequenz angehängt wird. Gato sampelt autoregressiv den Aktionsvektor, ein Token nach dem anderen. Sobald alle Token, die den Aktionsvektor bilden, gemäß der Aktionsspezifikation der Umgebung gesampelt wurden, wird die Aktion dekodiert und an die Umgebung gesendet. Die Umgebung führt einen Schritt aus, liefert eine neue Beobachtung, und der Prozess wiederholt sich. Entscheidend ist, dass das Modell innerhalb seines Kontextfensters von 1024 Token immer Zugriff auf alle vorherigen Beobachtungen und Aktionen hat.
Gato wird auf einer umfangreichen Sammlung von Datensätzen trainiert, die Agentenerfahrungen aus simulierten und realen Umgebungen sowie eine Vielzahl von Text- und Bilddatensätzen umfassen. Die Leistung des vortrainierten Gato-Modells, gemessen an seiner Fähigkeit, einen Prozentsatz von Expertenwerten über zahlreiche Aufgaben hinweg zu übertreffen, wird nach Domänen kategorisiert. Visualisierungen demonstrieren die Fähigkeit von Gato, Bilder zu beschriften, interaktive Dialoge zu führen und einen Roboterarm zu steuern, neben vielen anderen Aufgaben, alles mit demselben Satz von Gewichten.
- KategorieKI-Modelle & LLMs
- BereitstellungCloud
- PlattformenWeb
Gato Generalist Agent im Überblick
Multimodale Fähigkeiten
Multi-Task-Leistung
Multi-Embodiment-Steuerung
Transformer-Neuronales Netz-Architektur
Autoregressive Aktionsabtastung
Kontextfenster von 1024 Token
Trainiert auf vielfältigen Datensätzen
Generalistischer Policy-Agent
Erste Schritte mit Gato Generalist Agent
Modellzugriff: Erhalten Sie Zugriff auf den Gato Generalist Agent.
Authentifizierung: Richten Sie die notwendigen Authentifizierungsanmeldeinformationen ein.
Umgebung einrichten: Konfigurieren Sie die Zielumgebung für die Interaktion.
Integration über API: Nutzen Sie die bereitgestellten API-Endpunkte zur Aufgabenausführung.
Prompt bereitstellen: Geben Sie einen tokenisierten Prompt oder eine Demonstration ein.
Beobachtung empfangen: Verarbeiten Sie Umgebungsbeobachtungen.
Aktion sampeln: Sampeln Sie autoregressiv Aktions-Token.
Dekodieren und ausführen: Dekodieren Sie gesampelte Token in ausführbare Aktionen.
Gato Generalist Agent's Anwendungsfälle
- Robotik-Steuerung
- Bildbeschriftung
- Interaktiver Dialog
- Spiele spielen
- Multimodales Verständnis
- Allgemeine KI-Forschung
