Beschreibung
OpenManus-RL ist eine kollaborative Open-Source-Initiative von Ulab-UIUC und MetaGPT, die das ursprüngliche OpenManus-Projekt erweitert. Inspiriert von erfolgreichem RL-Tuning für Reasoning-LLMs wie Deepseek-R1 und QwQ-32B, erforscht dieses Projekt neuartige Paradigmen für RL-basiertes LLM-Agenten-Tuning. Fortschritte, einschließlich rigoroser Tests auf Benchmarks wie GAIA, AgentBench, WebShop und OSWorld, sowie abgestimmte Modelle, werden dynamisch über Live-Streaming geteilt.
Weiterlesen
Das Projekt integriert fortschrittliche Reinforcement Learning (RL)-Techniken, um die Reasoning- und Entscheidungsfindungsfähigkeiten von LLMs zu verbessern. Es schöpft Inspiration aus bestehenden Frameworks und erforscht neue algorithmische Strukturen, diverse Reasoning-Paradigmen, ausgefeilte Belohnungsstrategien und umfangreiche Benchmark-Umgebungen. Zu den Schlüsselkomponenten gehören die Erforschung verschiedener Reasoning-Modelle (GPT-O1, Deepseek-R1, QwQ-32B), Experimente mit alternativen Rollout-Strategien wie Tree-of-Thoughts (ToT) und Monte Carlo Tree Search (MCTS) sowie die Analyse verschiedener Reasoning-Ausgabeformate wie ReAct und Outcome-based Reasoning.
Untersuchte Post-Training-Strategien umfassen Supervised Fine-Tuning (SFT), Generalized Reward-based Policy Optimization (GRPO), Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO) und Preference-based Reward Modeling (PRM). Das Projekt konzentriert sich auch auf das Training spezialisierter Agenten-Belohnungsmodelle und die Implementierung von Test-Time-Trajectory-Scaling für Anpassungsfähigkeit. Die Integration mit führenden RL-Tuning-Frameworks, insbesondere dem 'verl'-Submodul, bietet fortschrittliche Trainingsmöglichkeiten für die Agentenoptimierung.
Der OpenManus-RL-Datensatz kombiniert Agenten-Trajektorien aus AgentInstruct, Agent-FLAN und AgentTraj-L und verfügt über ein ReAct-Framework, strukturiertes Training, Anti-Halluzinations-Techniken und Abdeckung über sechs Domänen hinweg. Das Projekt bietet eine vereinfachte Bibliothek für SFT- und GRPO-Tuning, die auf dem 'verl'-Framework aufbaut. Community-Beiträge werden für Fine-Tuning-Codebasen, Datensätze, Umgebungssetups und Rechenressourcen dringend empfohlen, wobei wichtige Mitwirkende potenziell als Co-Autoren zukünftiger Veröffentlichungen aufgeführt werden.
OpenManus-RL zielt darauf ab, die Grenzen des Agenten-Reasonings und der Tool-Integration zu erweitern und ein florierendes Open-Source-Agenten-Ökosystem zu fördern. Das Projekt verpflichtet sich zu kontinuierlichen Updates und begrüßt die Zusammenarbeit von Entwicklern, die an der Weiterentwicklung der LLM-Agentenfähigkeiten interessiert sind.
- KategorieKI-Agenten-Builder
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
OpenManus-RL's Kernfunktionen
Live-Stream-Entwicklung von RL-Tuning für LLM-Agenten
Erforschung neuartiger RL-basierter LLM-Agenten-Tuning-Paradigmen
Rigorose Tests auf Agenten-Benchmarks (GAIA, AgentBench, WebShop, OSWorld)
Offene Weitergabe von Fortschritten, Ergebnissen und abgestimmten Modellen
Integration fortschrittlicher RL-Algorithmen und Frameworks (z. B. Verl)
Unterstützung für diverse Reasoning-Modelle und Rollout-Strategien (ToT, MCTS)
Implementierung verschiedener Post-Training-Strategien (SFT, GRPO, PPO, DPO)
Umfassender Datensatz, der Agenten-Trajektorien aus mehreren Quellen kombiniert
Community-Beiträge für Code, Daten und Ressourcen sind willkommen
Erste Schritte mit OpenManus-RL
Repository klonen: Klonen Sie das OpenManus-RL-Repository und stellen Sie sicher, dass Submodule initialisiert und aktualisiert werden.
Umgebungs-Setup: Erstellen und aktivieren Sie eine Conda-Umgebung und installieren Sie dann die erforderlichen Abhängigkeiten, einschließlich PyTorch und vllm.
Datensatzvorbereitung: Laden Sie den OpenManus-RL-Datensatz von Hugging Face herunter.
Umgebungskonfiguration: Richten Sie spezifische Agenten-Umgebungen wie WebShop oder ALFWorld gemäß der Dokumentation ein.
Trainingsausführung: Verwenden Sie die bereitgestellten Skripte für das Training von Agentenmodellen, z. B. ALFWorld RL Training (PPO).
Optimierung: Feinabstimmen Sie Parameter und erkunden Sie verschiedene Strategien für optimale Agentenleistung.
OpenManus-RL's Anwendungsfälle
- LLM Agenten-Tuning
- Reinforcement Learning Forschung
- Benchmark-Evaluierung
- Open-Source-Kollaboration
- Tool-Integration
- Verbesserung der Reasoning-Fähigkeiten
