الوصف
OpenManus-RL هو مبادرة تعاونية مفتوحة المصدر من Ulab-UIUC و MetaGPT، وهي توسع لمشروع OpenManus الأصلي. مستوحى من الضبط الناجح لـ RL لنماذج LLM الاستدلالية مثل Deepseek-R1 و QwQ-32B، يستكشف هذا المشروع نماذج جديدة لضبط وكلاء LLM المستند إلى RL. يتم مشاركة التقدم، بما في ذلك الاختبارات الصارمة على معايير مثل GAIA و AgentBench و WebShop و OSWorld، جنبًا إلى جنب مع النماذج المضبوطة، ديناميكيًا من خلال البث المباشر.
قراءة المزيد
يدمج المشروع تقنيات التعلم المعزز المتقدمة (RL) لتعزيز قدرات الاستدلال واتخاذ القرار لنماذج LLM. يستمد الإلهام من الأطر الحالية ويستكشف هياكل خوارزمية جديدة، ونماذج استدلال متنوعة، واستراتيجيات مكافأة متطورة، وبيئات معايير واسعة. تشمل المكونات الرئيسية استكشاف نماذج استدلال مختلفة (GPT-O1، Deepseek-R1، QwQ-32B)، والتجريب مع استراتيجيات طرح بديلة مثل Tree-of-Thoughts (ToT) و Monte Carlo Tree Search (MCTS)، وتحليل تنسيقات مخرجات الاستدلال المختلفة مثل ReAct و Outcome-based Reasoning.
تشمل استراتيجيات ما بعد التدريب التي تم التحقيق فيها الضبط الدقيق الموجه (SFT)، وتحسين السياسة المعمم المستند إلى المكافأة (GRPO)، وتحسين السياسة التقريبية (PPO)، والتحسين المباشر للتفضيل (DPO)، ونمذجة المكافأة المستندة إلى التفضيل (PRM). يركز المشروع أيضًا على تدريب نماذج مكافأة وكلاء متخصصة وتنفيذ قياس مسار وقت الاختبار للتكيف. يوفر التكامل مع أطر عمل ضبط RL الرائدة، لا سيما الوحدة الفرعية 'verl'، إمكانيات تدريب متقدمة لتحسين الوكيل.
تجمع مجموعة بيانات OpenManus-RL بين مسارات الوكلاء من AgentInstruct و Agent-FLAN و AgentTraj-L، وتتميز بإطار عمل ReAct، والتدريب المنظم، وتقنيات مكافحة الهلوسة، والتغطية عبر ستة مجالات. توفر المشروع مكتبة مبسطة لضبط SFT و GRPO، مبنية على إطار عمل 'verl'. يتم تشجيع مساهمات المجتمع بشدة لضبط قواعد التعليمات البرمجية، ومجموعات البيانات، وإعدادات البيئة، وموارد الحوسبة، مع إمكانية إدراج المساهمين المهمين كمؤلفين مشاركين في الأوراق المستقبلية.
يهدف OpenManus-RL إلى دفع حدود استدلال الوكيل وتكامل الأدوات، وتعزيز نظام بيئي مزدهر للوكلاء مفتوحي المصدر. يلتزم المشروع بالتحديثات المستمرة ويرحب بالتعاون من المطورين المهتمين بتعزيز قدرات وكلاء LLM.
- الفئةأدوات بناء وكلاء الذكاء الاصطناعي
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ OpenManus-RL
تطوير مباشر لضبط RL لوكلاء LLM
استكشاف نماذج جديدة لضبط وكلاء LLM المستند إلى RL
اختبار صارم على معايير الوكلاء (GAIA، AgentBench، WebShop، OSWorld)
مشاركة مفتوحة للتقدم والنتائج والنماذج المضبوطة
تكامل خوارزميات وأطر عمل RL المتقدمة (مثل Verl)
دعم نماذج استدلال متنوعة واستراتيجيات طرح (ToT، MCTS)
تنفيذ استراتيجيات ما بعد التدريب المختلفة (SFT، GRPO، PPO، DPO)
مجموعة بيانات شاملة تجمع مسارات الوكلاء من مصادر متعددة
مساهمات المجتمع مرحب بها للكود والبيانات والموارد
البدء مع OpenManus-RL
استنساخ المستودع: استنسخ مستودع OpenManus-RL، مع التأكد من تهيئة الوحدات الفرعية وتحديثها.
إعداد البيئة: قم بإنشاء وتفعيل بيئة conda، ثم قم بتثبيت التبعيات المطلوبة بما في ذلك PyTorch و vllm.
إعداد مجموعة البيانات: قم بتنزيل مجموعة بيانات OpenManus-RL من Hugging Face.
تكوين البيئة: قم بإعداد بيئات وكلاء محددة مثل WebShop أو ALFWorld وفقًا للتوثيق.
تنفيذ التدريب: استخدم البرامج النصية المقدمة لتدريب نماذج الوكلاء، على سبيل المثال، تدريب ALFWorld RL (PPO).
التحسين: قم بضبط المعلمات واستكشاف استراتيجيات مختلفة للحصول على أداء أمثل للوكيل.
حالات استخدام OpenManus-RL
- ضبط وكلاء LLM
- بحث التعلم المعزز
- تقييم المعايير
- التعاون مفتوح المصدر
- تكامل الأدوات
- تعزيز قدرة الاستدلال
