説明
OpenManus-RLは、Ulab-UIUCとMetaGPTによる共同オープンソースイニシアチブであり、オリジナルのOpenManusプロジェクトを拡張したものです。Deepseek-R1やQwQ-32Bのような推論LLMにおけるRLチューニングの成功に触発され、このプロジェクトはRLベースのLLMエージェントチューニングのための新しいパラダイムを探求しています。GAIA、AgentBench、WebShop、OSWorldなどのベンチマークでの厳密なテスト結果や、チューニングされたモデルを含む進捗は、ライブストリーミングを通じて動的に共有されます。
続きを読む
このプロジェクトは、高度な強化学習（RL）技術を統合し、LLMの推論および意思決定能力を強化します。既存のフレームワークからインスピレーションを得て、新しいアルゴリズム構造、多様な推論パラダイム、洗練された報酬戦略、および広範なベンチマーク環境を探求しています。主要なコンポーネントには、さまざまな推論モデル（GPT-O1、Deepseek-R1、QwQ-32B）の探求、Tree-of-Thoughts（ToT）やMonte Carlo Tree Search（MCTS）のような代替ロールアウト戦略の実験、およびReActやOutcome-based Reasoningのような異なる推論出力形式の分析が含まれます。
トレーニング後の戦略としては、Supervised Fine-Tuning（SFT）、Generalized Reward-based Policy Optimization（GRPO）、Proximal Policy Optimization（PPO）、Direct Preference Optimization（DPO）、Preference-based Reward Modeling（PRM）などが調査されています。また、専門的なエージェント報酬モデルのトレーニングや、適応性のためのテストタイム軌道スケーリングの実装にも焦点を当てています。主要なRLチューニングフレームワーク、特に「verl」サブモジュールとの統合により、エージェント最適化のための高度なトレーニング機能が提供されます。
OpenManus-RLデータセットは、AgentInstruct、Agent-FLAN、AgentTraj-Lからのエージェント軌道を組み合わせたもので、ReActフレームワーク、構造化トレーニング、反ハルシネーション技術、および6つのドメインにわたるカバレッジを特徴としています。このプロジェクトは、SFTおよびGRPOチューニングのための簡略化されたライブラリを提供しており、「verl」フレームワーク上に構築されています。コードベース、データセット、環境設定、およびコンピューティングリソースのファインチューニングに関するコミュニティからの貢献を強く奨励しており、重要な貢献者は将来の論文の共著者としてリストされる可能性があります。
OpenManus-RLは、エージェントの推論能力とツール統合の限界を押し広げ、活気のあるオープンソースエージェントエコシステムを育成することを目指しています。このプロジェクトは継続的なアップデートにコミットしており、LLMエージェント能力の向上に関心のある開発者からの協力を歓迎します。
- カテゴリーAI エージェントビルダー
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
OpenManus-RLの主要機能
LLMエージェントのRLチューニングのライブストリーム開発
新しいRLベースのLLMエージェントチューニングパラダイムの探求
エージェントベンチマーク（GAIA、AgentBench、WebShop、OSWorld）での厳密なテスト
進捗、結果、チューニング済みモデルのオープン共有
高度なRLアルゴリズムおよびフレームワーク（例：Verl）の統合
多様な推論モデルおよびロールアウト戦略（ToT、MCTS）のサポート
さまざまなトレーニング後戦略（SFT、GRPO、PPO、DPO）の実装
複数のソースからのエージェント軌道を組み合わせた包括的なデータセット
コード、データ、リソースに関するコミュニティ貢献の歓迎
OpenManus-RLをはじめる
リポジトリのクローン: OpenManus-RLリポジトリをクローンし、サブモジュールが初期化され更新されていることを確認します。
環境設定: conda環境を作成してアクティブ化し、PyTorchやvllmを含む必要な依存関係をインストールします。
データセット準備: Hugging FaceからOpenManus-RLデータセットをダウンロードします。
環境設定: ドキュメントに従って、WebShopやALFWorldなどの特定のエージェント環境を設定します。
トレーニング実行: エージェントモデルのトレーニングには、提供されているスクリプトを使用します。例：ALFWorld RL Training (PPO)。
最適化: パラメータをファインチューニングし、最適なエージェントパフォーマンスのためのさまざまな戦略を探求します。
OpenManus-RLの使用例
- LLMエージェントチューニング
- 強化学習研究
- ベンチマーク評価
- オープンソースコラボレーション
- ツール統合
- 推論能力強化
