描述
OpenManus-RL 是 Ulab-UIUC 和 MetaGPT 联合推出的一个协作式开源项目，是对原始 OpenManus 项目的扩展。受 Deepseek-R1 和 QwQ-32B 等用于推理的 LLM 的成功 RL 微调的启发，该项目探索了基于 RL 的 LLM 智能体微调的新颖范式。项目进展，包括在 GAIA、AgentBench、WebShop 和 OSWorld 等基准测试上的严格测试以及微调后的模型，将通过直播动态分享。
阅读更多
该项目集成了先进的强化学习 (RL) 技术，以增强 LLM 的推理和决策能力。它借鉴了现有框架的灵感，并探索新的算法结构、多样的推理范式、复杂的奖励策略以及广泛的基准环境。关键组成部分包括探索各种推理模型（GPT-O1、Deepseek-R1、QwQ-32B），试验替代性的 rollout 策略，如思维之树 (Tree-of-Thoughts, ToT) 和蒙特卡洛树搜索 (Monte Carlo Tree Search, MCTS)，以及分析不同的推理输出格式，如 ReAct 和基于结果的推理。
训练后策略的研究包括监督微调 (Supervised Fine-Tuning, SFT)、广义基于奖励的策略优化 (Generalized Reward-based Policy Optimization, GRPO)、近端策略优化 (Proximal Policy Optimization, PPO)、直接偏好优化 (Direct Preference Optimization, DPO) 和基于偏好的奖励建模 (Preference-based Reward Modeling, PRM)。该项目还专注于训练专门的智能体奖励模型，并实现用于适应性的测试时轨迹缩放。与领先的 RL 微调框架的集成，特别是 'verl' 子模块，为智能体优化提供了先进的训练能力。
OpenManus-RL 数据集结合了来自 AgentInstruct、Agent-FLAN 和 AgentTraj-L 的智能体轨迹，具有 ReAct 框架、结构化训练、反幻觉技术，并覆盖了六个领域。该项目提供了一个基于 'verl' 框架的简化库，用于 SFT 和 GRPO 微调。我们非常鼓励社区贡献代码库、数据集、环境设置和计算资源，重要的贡献者有可能被列为未来论文的合著者。
OpenManus-RL 旨在突破智能体推理和工具集成的界限，培育一个蓬勃发展的开源智能体生态系统。该项目致力于持续更新，并欢迎对推进 LLM 智能体能力感兴趣的开发者的合作。
- 类别AI 智能体构建工具
- 定价模式开源
- 部署云端
- 平台网页版
OpenManus-RL的核心功能
LLM 智能体的 RL 微调直播开发
探索新颖的基于 RL 的 LLM 智能体微调范式
在智能体基准测试（GAIA、AgentBench、WebShop、OSWorld）上进行严格测试
公开分享进展、结果和微调后的模型
集成先进的 RL 算法和框架（例如，Verl）
支持多样的推理模型和 rollout 策略（ToT、MCTS）
实现各种训练后策略（SFT、GRPO、PPO、DPO）
结合多个来源的智能体轨迹的综合数据集
欢迎在代码、数据和资源方面的社区贡献
OpenManus-RL入门
克隆仓库：克隆 OpenManus-RL 仓库，确保子模块已初始化并更新。
环境设置：创建并激活 conda 环境，然后安装所需的依赖项，包括 PyTorch 和 vllm。
数据集准备：从 Hugging Face 下载 OpenManus-RL 数据集。
环境配置：根据文档设置特定的智能体环境，如 WebShop 或 ALFWorld。
训练执行：使用提供的脚本训练智能体模型，例如，ALFWorld RL 训练 (PPO)。
优化：微调参数并探索不同的策略以获得最佳智能体性能。
OpenManus-RL的使用案例
- LLM 智能体微调
- 强化学习研究
- 基准测试评估
- 开源协作
- 工具集成
- 推理能力增强
