Beschreibung
Voyager stellt einen bedeutenden Fortschritt in der verkörperten KI dar und fungiert als erster lebenslang lernender Agent, der auf großen Sprachmodellen (LLMs) basiert, innerhalb der Minecraft-Umgebung. Dieser Agent ist darauf ausgelegt, die Spielwelt autonom zu erkunden, eine vielfältige Palette von Fähigkeiten zu erwerben und neuartige Entdeckungen zu machen, ohne dass menschliche Eingaben erforderlich sind. Die Architektur von Voyager basiert auf drei Kernkomponenten: einem automatischen Lehrplan, der zur Maximierung der Erkundung entwickelt wurde, einer sich erweiternden Skill-Bibliothek, die komplexe Verhaltensweisen als ausführbaren Code speichert und abruft, sowie einem innovativen iterativen Prompting-Mechanismus. Dieser Mechanismus ermöglicht es dem Agenten, seine Programme durch die Einbeziehung von Feedback aus der Umgebung, das Lernen aus Ausführungsfehlern und die Anwendung von Selbstverifizierung zu verfeinern.
Weiterlesen
Voyager interagiert mit GPT-4 über Blackbox-Abfragen, eine Methode, die die Notwendigkeit des Fine-Tunings der Modellparameter umgeht. Die von Voyager entwickelten Fähigkeiten zeichnen sich durch ihre zeitliche Ausdehnung, Interpretierbarkeit und Komponierbarkeit aus. Dieses Design erleichtert die schnelle Kumulation der Fähigkeiten des Agenten und mildert effektiv das katastrophale Vergessen, eine häufige Herausforderung beim KI-Lernen. Empirisch zeigt Voyager robuste lebenslange In-Context-Lernfähigkeiten und demonstriert außergewöhnliche Kompetenz beim Spielen von Minecraft. Es wurde gezeigt, dass es 3,3-mal mehr einzigartige Gegenstände erwirbt, 2,3-mal längere Distanzen zurücklegt und wichtige technologische Meilensteine bis zu 15,3-mal schneller als frühere State-of-the-Art-Methoden freischaltet.
Ein Hauptmerkmal von Voyager ist seine Fähigkeit, seine erlernte Skill-Bibliothek in neuen Minecraft-Welten zu nutzen, um neuartige Aufgaben von Grund auf zu lösen, eine Fähigkeit, bei der andere Techniken oft Schwierigkeiten haben, zu generalisieren. Das Repository stellt den Voyager-Code unter einer MIT-Lizenz zur Verfügung. Die Installation erfordert Python Version 3.9 oder höher und Node.js Version 16.13.0 oder höher, mit getesteter Kompatibilität auf Ubuntu 20.04, Windows 11 und macOS. Die Einrichtung umfasst das Klonen des Repositories, die Installation von Python-Abhängigkeiten und die Installation spezifischer Node.js-Pakete. Eine Minecraft-Instanz und notwendige Fabric-Mods sind ebenfalls erforderlich. Um Voyager auszuführen, ist ein OpenAI API-Schlüssel erforderlich, da es GPT-4 für sein Sprachmodell verwendet. Der Agent kann für lebenslanges Lernen initialisiert oder so konfiguriert werden, dass er von Checkpoints fortgesetzt wird und spezifische Aufgaben mithilfe erlernter Skill-Bibliotheken ausführt.
- KategorieKI-Agenten-Builder
- PreismodellOpen Source
- BereitstellungSelbst gehostet
- PlattformenWindows, macOS, Linux
Voyager Embodied Agent's Kernfunktionen
Offener, verkörperter Agent für Minecraft
Nutzt große Sprachmodelle (LLM) für die Entscheidungsfindung
Lebenslange Lernfähigkeiten
Automatischer Lehrplan zur Maximierung der Erkundung
Ausführbare Skill-Bibliothek zum Speichern und Abrufen von Verhaltensweisen
Iterativer Prompting-Mechanismus mit Feedback aus der Umgebung
Selbstverifizierung zur Programmverbesserung
Interagiert mit GPT-4 über Blackbox-Abfragen
Zeitlich erweiterte, interpretierbare und komponierbare Fähigkeiten
Mildert katastrophales Vergessen
Demonstriert starkes In-Context-Lernen
Erzielt State-of-the-Art-Leistung bei Minecraft-Aufgaben
Generalisiert erlernte Fähigkeiten auf neue Umgebungen
Erste Schritte mit Voyager Embodied Agent
Klonen: Klonen Sie das Voyager GitHub Repository.
Python-Abhängigkeiten installieren: Führen Sie `pip install -e .` im Projektverzeichnis aus.
Node.js-Abhängigkeiten installieren: Navigieren Sie zu `voyager/env/mineflayer` und führen Sie `npm install -g npx` und `npm install` aus.
Minecraft konfigurieren: Richten Sie eine Minecraft-Instanz ein und installieren Sie die erforderlichen Fabric-Mods.
API-Schlüssel erhalten: Besorgen Sie sich einen OpenAI API-Schlüssel für den GPT-4-Zugang.
Voyager initialisieren: Instanziieren Sie den Voyager-Agenten mit Azure-Anmeldedaten und API-Schlüssel.
Lernen starten: Führen Sie `voyager.learn()` aus, um den lebenslangen Lernprozess zu beginnen.
Lernen fortsetzen: Instanziieren Sie Voyager mit `ckpt_dir` und `resume=True`, um von einem Checkpoint fortzufahren.
Voyager Embodied Agent's Anwendungsfälle
- Autonome Minecraft-Erkundung
- Fähigkeitserwerb und -komposition
- Lebenslanges Lernen in verkörperter KI
- Aufgabendekomposition und -ausführung
- KI-Forschung in Spielumgebungen
- Neuartige Entdeckungen und Innovation
- Generalisierung von KI-Fähigkeiten
