Description
OpenManus-RL est une initiative collaborative open-source de Ulab-UIUC et MetaGPT, qui étend le projet OpenManus original. Inspiré par le réglage RL réussi pour les LLM de raisonnement tels que Deepseek-R1 et QwQ-32B, ce projet explore de nouveaux paradigmes pour le réglage d'agents LLM basés sur le RL. Les progrès, y compris des tests rigoureux sur des benchmarks tels que GAIA, AgentBench, WebShop et OSWorld, ainsi que des modèles réglés, sont partagés dynamiquement via le streaming en direct.
Lire la suite
Le projet intègre des techniques avancées d'apprentissage par renforcement (RL) pour améliorer les capacités de raisonnement et de prise de décision des LLM. Il s'inspire des cadres existants et explore de nouvelles structures algorithmiques, divers paradigmes de raisonnement, des stratégies de récompense sophistiquées et des environnements de benchmark étendus. Les composants clés comprennent l'exploration de divers modèles de raisonnement (GPT-O1, Deepseek-R1, QwQ-32B), l'expérimentation avec des stratégies de déploiement alternatives comme Tree-of-Thoughts (ToT) et Monte Carlo Tree Search (MCTS), et l'analyse de différents formats de sortie de raisonnement tels que ReAct et Outcome-based Reasoning.
Les stratégies post-entraînement étudiées comprennent le réglage fin supervisé (SFT), l'optimisation de politique généralisée basée sur la récompense (GRPO), l'optimisation de politique proximale (PPO), l'optimisation directe des préférences (DPO) et la modélisation de récompense basée sur les préférences (PRM). Le projet se concentre également sur la formation de modèles de récompense d'agents spécialisés et la mise en œuvre de la mise à l'échelle de trajectoire au moment des tests pour l'adaptabilité. L'intégration avec les principaux cadres de réglage RL, notamment le sous-module 'verl', offre des capacités d'entraînement avancées pour l'optimisation des agents.
L'ensemble de données OpenManus-RL combine des trajectoires d'agents provenant d'AgentInstruct, Agent-FLAN et AgentTraj-L, présentant un cadre ReAct, un entraînement structuré, des techniques anti-hallucination et une couverture sur six domaines. Le projet fournit une bibliothèque simplifiée pour le réglage SFT et GRPO, construite sur le cadre 'verl'. Les contributions de la communauté sont fortement encouragées pour le réglage des bases de code, des ensembles de données, des configurations d'environnement et des ressources informatiques, les contributeurs importants pouvant être listés comme co-auteurs d'articles futurs.
OpenManus-RL vise à repousser les limites du raisonnement des agents et de l'intégration des outils, en favorisant un écosystème d'agents open-source florissant. Le projet s'engage à des mises à jour continues et accueille la collaboration des développeurs intéressés par l'amélioration des capacités des agents LLM.
- CatégorieCréateurs d'agents IA
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de OpenManus-RL
Développement en direct du réglage RL pour les agents LLM
Exploration de nouveaux paradigmes de réglage d'agents LLM basés sur le RL
Tests rigoureux sur des benchmarks d'agents (GAIA, AgentBench, WebShop, OSWorld)
Partage ouvert des progrès, des résultats et des modèles réglés
Intégration d'algorithmes et de cadres RL avancés (par exemple, Verl)
Prise en charge de divers modèles de raisonnement et stratégies de déploiement (ToT, MCTS)
Mise en œuvre de diverses stratégies post-entraînement (SFT, GRPO, PPO, DPO)
Ensemble de données complet combinant des trajectoires d'agents provenant de plusieurs sources
Contribution de la communauté bienvenue pour le code, les données et les ressources
Premiers pas avec OpenManus-RL
Cloner le dépôt : Clonez le dépôt OpenManus-RL, en vous assurant que les sous-modules sont initialisés et mis à jour.
Configuration de l'environnement : Créez et activez un environnement conda, puis installez les dépendances requises, y compris PyTorch et vllm.
Préparation des données : Téléchargez l'ensemble de données OpenManus-RL depuis Hugging Face.
Configuration de l'environnement : Configurez des environnements d'agents spécifiques comme WebShop ou ALFWorld conformément à la documentation.
Exécution de l'entraînement : Utilisez les scripts fournis pour entraîner les modèles d'agents, par exemple, ALFWorld RL Training (PPO).
Optimisation : Affinez les paramètres et explorez différentes stratégies pour des performances optimales de l'agent.
Cas d'utilisation de OpenManus-RL
- Réglage d'agents LLM
- Recherche en apprentissage par renforcement
- Évaluation de benchmarks
- Collaboration open-source
- Intégration d'outils
- Amélioration des capacités de raisonnement
