الوصف
يستضيف مستودع GitHub هذا التنفيذ لخوارزمية Twin Delayed Deep Deterministic Policy Gradients (TD3) باستخدام PyTorch، وهو التنفيذ الرسمي للمؤلف. TD3 هي طريقة متقدمة في التعلم المعزز تعالج أخطاء تقريب الدالة في طرق الممثل-الناقد (actor-critic)، مما يؤدي إلى تعلم أكثر استقراراً وكفاءة. تم تصميم التنفيذ خصيصاً لمهام التحكم المستمر، مما يجعله مناسباً لمجموعة واسعة من تطبيقات الروبوتات والمحاكاة ضمن إطار عمل OpenAI Gym.
قراءة المزيد
يستخدم المشروع إصدار PyTorch 1.2 و Python 3.7، مما يضمن التوافق مع سير عمل التعلم العميق الحديث. تم تنظيم الكود لتسهيل التجريب السهل وإعادة إنتاج النتائج. يمكن للمستخدمين تشغيل التجارب على بيئات فردية عن طريق تنفيذ `python main.py --env HalfCheetah-v2` أو إعادة إنتاج نتائج الورقة البحثية عن طريق تشغيل البرنامج النصي للشل المقدم `./run_experiments.sh`.
تشمل الميزات الرئيسية لهذا التنفيذ خوارزمية TD3 الأساسية، بالإضافة إلى تنفيذ DDPG المضمن للتحليل المقارن. يمكن تعديل المعلمات الفائقة بسهولة من خلال وسيطات سطر الأوامر في `main.py`، مما يسمح للباحثين بضبط أداء الوكيل. يحتوي المستودع أيضاً على منحنيات التعلم، بتنسيق مصفوفات NumPy، تمثل النتائج الأصلية من الورقة البحثية، والتي يتم تقييمها بناءً على متوسط المكافأة الإجمالية عبر حلقات متعددة.
هذا المورد لا يقدر بثمن للباحثين والممارسين في مجال التعلم المعزز، وخاصة أولئك الذين يركزون على مشاكل التحكم المستمر. يوفر قاعدة كود موثقة جيداً ومختبرة لتنفيذ وتقييم TD3، مما يساهم في التقدم في هذا المجال. يرتبط المشروع بالورقة البحثية التأسيسية "Addressing Function Approximation Error in Actor-Critic Methods" بواسطة Fujimoto، Hoof، و Meger، مما يعزز أهميته بشكل أكبر.
المستودع مرخص بموجب ترخيص MIT، مما يعزز التعاون والاستخدام مفتوح المصدر. في حين أن الكود قد خضع لتعديلات طفيفة منذ نشر الورقة البحثية لتحسين الأداء، تظل منحنيات التعلم ممثلة للنتائج الأصلية. هذا يجعله مصدراً موثوقاً لفهم وتطبيق TD3 في سيناريوهات عملية.
- الفئةأدوات ذكاء اصطناعي أخرى
- نموذج التسعيرمفتوح المصدر
- النشراستضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ تنفيذ TD3 باستخدام PyTorch
تنفيذ خوارزمية TD3 باستخدام PyTorch
مصمم لمهام التحكم المستمر في OpenAI Gym
يعالج خطأ تقريب الدالة في طرق الممثل-الناقد
يتضمن تنفيذ DDPG للمقارنة
ضبط المعلمات الفائقة عبر وسيطات سطر الأوامر
نتائج تجريبية قابلة لإعادة الإنتاج
منحنيات التعلم متاحة كمصفوفات NumPy
تم التدريب باستخدام PyTorch 1.2 و Python 3.7
ترخيص MIT للاستخدام مفتوح المصدر
قاعدة كود لأبحاث التعلم المعزز
البدء مع تنفيذ TD3 باستخدام PyTorch
الوصول إلى النموذج: استنساخ مستودع GitHub.
إعداد البيئة: تثبيت PyTorch 1.2 و Python 3.7.
التكامل عبر البرنامج النصي: تشغيل `./run_experiments.sh` لنتائج الورقة البحثية أو `python main.py --env <environment_name>` للبيئات الفردية.
تعديل المعلمات الفائقة: ضبط المعلمات باستخدام وسيطات سطر الأوامر في `main.py`.
تحليل النتائج: فحص منحنيات التعلم في الدليل `/learning_curves`.
المقارنة مع DDPG: استخدام `DDPG.py` المضمن للدراسات المقارنة.
حالات استخدام تنفيذ TD3 باستخدام PyTorch
- أبحاث التعلم المعزز
- مهام التحكم المستمر
- مقارنة الخوارزميات
- تحسين المعلمات الفائقة
- محاكاة الروبوتات
