Beschreibung
Dieses GitHub-Repository, "handful-of-trials", beherbergt den experimentellen Code für die Forschungsarbeit "Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models". Das Projekt konzentriert sich auf modellbasiertes Reinforcement Learning (RL) und adressiert die gängige Herausforderung, dass modellbasierte Algorithmen trotz ihrer Stichprobeneffizienz oft bei der asymptotischen Leistung hinter modellfreien Algorithmen zurückbleiben, insbesondere bei der Verwendung von hochkapazitiven Funktionsapproximatoren wie tiefen Netzwerken.
Weiterlesen
Die Kerninnovation, die vorgestellt wird, ist der Probabilistic Ensembles with Trajectory Sampling (PETS)-Algorithmus. PETS überbrückt die Leistungslücke durch den Einsatz von unsicherheitsbewussten Dynamikmodellen. Er integriert tiefe Netzwerk-Dynamikmodelle, die sich ihrer eigenen Unsicherheiten bewusst sind, mit hochentwickelten stichprobenbasierten Unsicherheitsfortpflanzungstechniken. Dieser Ansatz ermöglicht es dem Modell, effektiv aus begrenzten Daten zu lernen, ein kritischer Faktor in vielen realen RL-Anwendungen, bei denen die Datenerfassung teuer oder zeitaufwendig ist.
Das Repository stellt den notwendigen Code zur Reproduktion der in der Arbeit beschriebenen Experimente bereit. Es enthält Skripte zur Ausführung von Experimenten auf verschiedenen Benchmark-Aufgaben wie Cartpole, Reacher, Pusher und HalfCheetah. Benutzer können Experimente konfigurieren, indem sie Umgebungsnamen, Controller-Argumente (z. B. Modelltyp, Fortpflanzungsmethode, Optimierer) und Parameter-Overrides angeben. Der Code enthält auch Dienstprogramme zur Visualisierung von Rollouts und zur Analyse von Ergebnissen, wobei die Versuchsdaten in einem strukturierten Format protokolliert werden.
Um die Benutzerfreundlichkeit zu verbessern, bietet das Repository eine Dockerfile zur Erstellung einer eigenständigen Umgebung, einschließlich notwendiger Abhängigkeiten wie MuJoCo. Ein vorab erstelltes Docker-Image ist ebenfalls verfügbar. Das Projekt ist hauptsächlich in Python geschrieben, wobei ein erheblicher Teil des Codes der Implementierung des PETS-Algorithmus und seiner zugehörigen Komponenten wie probabilistische Ensembles und Trajektorien-Sampling-Methoden gewidmet ist. Die Forschung zielt darauf ab zu zeigen, dass modellbasiertes RL eine asymptotische Spitzenleistung erzielen kann, während es erheblich weniger Stichproben als führende modellfreie Methoden benötigt.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud, Selbst gehostet
- PlattformenLinux
Handful of Trials's Kernfunktionen
Implementierung des PETS-Algorithmus für Deep Reinforcement Learning.
Verwendet unsicherheitsbewusste tiefe Netzwerk-Dynamikmodelle.
Setzt stichprobenbasierte Unsicherheitsfortpflanzung für effizientes Lernen ein.
Code zur Reproduktion von Experimenten auf Benchmark-RL-Aufgaben.
Enthält Skripte zur Ausführung und Konfiguration von Experimenten.
Bietet Visualisierungswerkzeuge für Rollouts.
Stellt eine Dockerfile und ein vorab erstelltes Image für die Umgebungsaufstellung bereit.
Unterstützt verschiedene Controller-Konfigurationen, einschließlich Modelltyp, Fortpflanzung und Optimierungsmethoden.
Erste Schritte mit Handful of Trials
Repository klonen: Holen Sie sich den Code aus dem GitHub-Repository.
Umgebung einrichten: Installieren Sie Abhängigkeiten mit `requirements.txt` oder verwenden Sie die bereitgestellte Dockerfile/Image.
Experimente konfigurieren: Geben Sie bei Bedarf Umgebung, Controller-Argumente und Overrides an.
Experimente ausführen: Führen Sie Experimente mit `python scripts/mbexp.py` und den gewünschten Parametern aus.
Ergebnisse analysieren: Untersuchen Sie die protokollierten Daten in `logs.mat` auf Beobachtungen, Aktionen, Belohnungen und Erträge.
Rollouts visualisieren: Verwenden Sie `python scripts/render.py`, um die Leistung des trainierten Modells zu visualisieren.
Handful of Trials's Anwendungsfälle
- Stichprobeneffizientes RL
- Forschung im Bereich modellbasiertes RL
- Robotik-Steuerung
- Benchmark-RL-Aufgaben
- Unsicherheitsquantifizierung in RL
- Deep Learning für Dynamikmodellierung
