Descripción
OpenManus-RL es una iniciativa colaborativa de código abierto de Ulab-UIUC y MetaGPT, que amplía el proyecto original OpenManus. Inspirado por el exitoso ajuste de RL para LLMs de razonamiento como Deepseek-R1 y QwQ-32B, este proyecto explora nuevos paradigmas para el ajuste de agentes LLM basados en RL. El progreso, incluyendo pruebas rigurosas en benchmarks como GAIA, AgentBench, WebShop y OSWorld, junto con modelos ajustados, se comparte dinámicamente a través de transmisiones en vivo.
Leer más
El proyecto integra técnicas avanzadas de aprendizaje por refuerzo (RL) para mejorar las capacidades de razonamiento y toma de decisiones de los LLMs. Se inspira en marcos existentes y explora nuevas estructuras algorítmicas, diversos paradigmas de razonamiento, sofisticadas estrategias de recompensa y extensos entornos de benchmark. Los componentes clave incluyen la exploración de varios modelos de razonamiento (GPT-O1, Deepseek-R1, QwQ-32B), la experimentación con estrategias de rollout alternativas como Tree-of-Thoughts (ToT) y Monte Carlo Tree Search (MCTS), y el análisis de diferentes formatos de salida de razonamiento como ReAct y Outcome-based Reasoning.
Las estrategias post-entrenamiento investigadas incluyen Supervised Fine-Tuning (SFT), Generalized Reward-based Policy Optimization (GRPO), Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO) y Preference-based Reward Modeling (PRM). El proyecto también se centra en el entrenamiento de modelos de recompensa de agentes especializados y en la implementación de escalado de trayectorias en tiempo de prueba para la adaptabilidad. La integración con marcos líderes de ajuste de RL, notablemente el submódulo 'verl', proporciona capacidades de entrenamiento avanzadas para la optimización de agentes.
El conjunto de datos OpenManus-RL combina trayectorias de agentes de AgentInstruct, Agent-FLAN y AgentTraj-L, presentando un marco ReAct, entrenamiento estructurado, técnicas anti-alucinación y cobertura en seis dominios. El proyecto proporciona una biblioteca simplificada para el ajuste SFT y GRPO, construida sobre el marco 'verl'. Se alientan encarecidamente las contribuciones de la comunidad para el ajuste de bases de código, conjuntos de datos, configuraciones de entorno y recursos informáticos, con posibles contribuyentes importantes listados como coautores de futuros artículos.
OpenManus-RL tiene como objetivo ampliar los límites del razonamiento de agentes y la integración de herramientas, fomentando un ecosistema de agentes de código abierto próspero. El proyecto está comprometido con actualizaciones continuas y da la bienvenida a la colaboración de desarrolladores interesados en avanzar en las capacidades de los agentes LLM.
- CategoríaCreadores de agentes de IA
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Características principales de OpenManus-RL
Desarrollo en vivo de ajuste de RL para agentes LLM
Exploración de nuevos paradigmas de ajuste de agentes LLM basados en RL
Pruebas rigurosas en benchmarks de agentes (GAIA, AgentBench, WebShop, OSWorld)
Compartición abierta de progreso, resultados y modelos ajustados
Integración de algoritmos y marcos avanzados de RL (por ejemplo, Verl)
Soporte para diversos modelos de razonamiento y estrategias de rollout (ToT, MCTS)
Implementación de varias estrategias post-entrenamiento (SFT, GRPO, PPO, DPO)
Conjunto de datos completo que combina trayectorias de agentes de múltiples fuentes
Contribuciones de la comunidad bienvenidas para código, datos y recursos
Primeros pasos con OpenManus-RL
Clonar Repositorio: Clone el repositorio OpenManus-RL, asegurándose de que los submodules se inicialicen y actualicen.
Configuración del Entorno: Cree y active un entorno conda, luego instale las dependencias requeridas, incluyendo PyTorch y vllm.
Preparación del Conjunto de Datos: Descargue el conjunto de datos OpenManus-RL desde Hugging Face.
Configuración del Entorno: Configure entornos de agente específicos como WebShop o ALFWorld según la documentación.
Ejecución del Entrenamiento: Utilice los scripts proporcionados para entrenar modelos de agente, por ejemplo, ALFWorld RL Training (PPO).
Optimización: Ajuste los parámetros y explore diferentes estrategias para un rendimiento óptimo del agente.
Casos de uso de OpenManus-RL
- Ajuste de Agentes LLM
- Investigación en Aprendizaje por Refuerzo
- Evaluación de Benchmarks
- Colaboración de Código Abierto
- Integración de Herramientas
- Mejora de la Capacidad de Razonamiento
