الوصف
يستضيف مستودع maml_rl الكود المصاحب للورقة البحثية المؤثرة "التعلم التكيفي النموذجي (Model-Agnostic Meta-Learning) للتكيف السريع للشبكات العميقة" بواسطة Finn وآخرون (ICML 2017). يركز هذا المشروع تحديدًا على تنفيذ وتشغيل تجارب التعلم المعزز (RL) التي توضح فعالية التعلم التكيفي النموذجي (MAML) للتكيف السريع في الشبكات العصبية العميقة.
قراءة المزيد
MAML هو خوارزمية تعلم تكيفي مصممة لتدريب نماذج يمكنها التكيف بسرعة مع مهام جديدة ببضع خطوات تدرج فقط. يسمح هذا الكود للمستخدمين بتكرار تجارب التعلم المعزز المقدمة في الورقة، مما يوفر أداة عملية لفهم وتطبيق MAML في سيناريوهات التعلم المعزز المختلفة. يعتمد المستودع على إطار عمل كود rllab، وهو منصة قوية لتطوير وتقييم خوارزميات التعلم المعزز. سيحتاج المستخدمون إلى تثبيت TensorFlow v1.0+ كاعتمادية، حيث يستخدم كود MAML بشكل خاص إصدار TensorFlow من rllab.
يتضمن هيكل المستودع مجلدات للأمثلة والتوثيق ومكونات MAML الأساسية. تقع البرامج النصية لتشغيل التجارب داخل مجلد `maml_examples/`. يدعم المشروع بيئات pointmass وبيئات MuJoCo، مع إمكانية الوصول إلى الأخيرة عبر `rllab/envs/mujoco/`. جانب رئيسي أبرزه المطورون هو البطء الحالي للكود، مع دعوة مفتوحة للمساهمات لتحسين الأداء، لا سيما من خلال تحسين التوازي لأخذ العينات وحساب رسم بياني للتعلم التكيفي.
بالنسبة للمهتمين بجوانب التعلم الخاضع للإشراف في MAML، يتم الإشارة إلى كود منفصل. يؤكد المشروع على أساسه في rllab، الذي يقدم مجموعة واسعة من مهام التحكم المستمر وتنفيذ خوارزميات التعلم المعزز المختلفة مثل REINFORCE، و Truncated Natural Policy Gradient، و Deep Deterministic Policy Gradient. rllab متوافق مع OpenAI Gym ويدعم رسميًا Python 3.5+. يعمل مستودع maml_rl كمورد قيم للباحثين والممارسين في مجالات التعلم التكيفي، والتعلم المعزز، والتعلم العميق، مما يمكنهم من تجربة تقنيات التكيف الحديثة وتوسيعها.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتLinux, macOS, Windows
الميزات الأساسية لـ maml_rl
كود خاص بتجارب التعلم المعزز باستخدام التعلم التكيفي النموذجي (MAML)
ينفذ التكيف السريع للشبكات العميقة لمهام جديدة
مبني على إطار عمل التعلم المعزز rllab
يتضمن برامج نصية لتشغيل التجارب من ورقة ICML 2017
يدعم بيئات pointmass و MuJoCo
يتطلب TensorFlow v1.0+
يسهل البحث في التعلم التكيفي والتعلم المعزز
دعوة مفتوحة للمساهمات لتحسين سرعة الكود والتوازي
البدء مع maml_rl
إعداد البيئة: تثبيت TensorFlow v1.0+ واستنساخ المستودع.
تثبيت الاعتماديات: اتبع إرشادات تثبيت rllab.
الانتقال إلى الأمثلة: حدد موقع البرامج النصية للتجارب في `maml_examples/`.
تكوين التجارب: اضبط المعلمات حسب الحاجة للمهام المحددة.
تشغيل تجارب التعلم المعزز: نفذ البرامج النصية لتدريب واختبار وكلاء MAML.
تحليل النتائج: قم بتقييم سرعة التكيف والأداء على المهام الجديدة.
حالات استخدام maml_rl
- وكلاء التعلم المعزز التكيفي
- أبحاث التكيف السريع
- التعلم القليل اللقطات في التعلم المعزز
- تكيف الروبوتات
- تطوير ذكاء اصطناعي الألعاب
