الوصف
يستقصي مشروع نماذج العالم (World Models) إنشاء نماذج الشبكات العصبية التوليدية التي يمكنها محاكاة بيئات التعلم المعزز. الفكرة الأساسية هي بناء 'نموذج عالم' يتعلم تمثيلاً مكانيًا وزمانيًا مضغوطًا للبيئة. يمكن بعد ذلك استخدام هذا النموذج لإنشاء بيئة 'حلم' يمكن تدريب الوكيل فيها.
قراءة المزيد
باستخدام الميزات المستخرجة من نموذج العالم هذا كمدخلات للوكيل، يمكن للباحثين تدريب سياسة أبسط وأكثر إحكامًا بشكل كبير لحل المهام. الابتكار الرئيسي هو القدرة على تدريب الوكيل بالكامل داخل بيئة أحلامه الخاصة، التي تم إنشاؤها بواسطة نموذج عالمه، ثم نقل هذه السياسة المتعلمة مرة أخرى إلى البيئة الفعلية. يتجاوز هذا النهج الحاجة إلى تفاعل مكثف في العالم الحقيقي، مما قد يسرع التعلم ويحسن الكفاءة.
يتكون النظام من ثلاثة مكونات رئيسية: الرؤية (V)، الذاكرة (M)، ووحدة التحكم (C). يقوم مكون الرؤية (V)، وهو غالبًا ما يكون مشفرًا تلقائيًا متغيرًا (VAE)، بضغط الملاحظات عالية الأبعاد (مثل الصور) إلى متجه كامن منخفض الأبعاد. يقوم مكون الذاكرة (M)، وهو عادةً شبكة عصبية متكررة ذات كثافة مختلطة (MDN-RNN)، بالتنبؤ بالمتجهات الكامنة المستقبلية بناءً على المعلومات والإجراءات السابقة، مما يحاكي بشكل فعال الديناميكيات الزمنية للبيئة. مكون وحدة التحكم (C)، وهي شبكة سياسة بسيطة، تأخذ المتجه الكامن الحالي والحالة المخفية لشبكة RNN لاتخاذ قرارات بشأن الإجراءات.
أظهرت التجارب نجاحًا في مهام صعبة مثل سباقات السيارات من مدخلات البكسل، حيث حقق نهج نموذج العالم نتائج متطورة. علاوة على ذلك، يستكشف البحث تدريب الوكلاء بالكامل داخل بيئات 'الأحلام' التي تم إنشاؤها، كما هو موضح في تجربة VizDoom، حيث تعلم الوكيل البقاء على قيد الحياة في بيئة محاكاة وأدى بعد ذلك بشكل استثنائي في البيئة الفعلية. يوفر هذا الأسلوب فوائد عملية، مثل تقليل التكاليف الحسابية المرتبطة بعرض المشاهد وحسابات الفيزياء في البيئات المعقدة، وتمكين التدريب الأكثر شمولاً في المساحات المحاكاة.
- الفئةأدوات ذكاء اصطناعي أخرى
- النشرسحابي
- المنصاتالويب
أبرز ملامح نماذج العالم (World Models)
نماذج الشبكات العصبية التوليدية لبيئات التعلم المعزز
التعلم غير الخاضع للإشراف للتمثيلات المكانية والزمانية
تدريب الوكيل داخل بيئات 'الأحلام' المحاكاة
نقل السياسة من البيئات المحاكاة إلى البيئات الحقيقية
تمثيل مضغوط لحالات البيئة
تعلم سياسات مضغوطة وبسيطة
مشفر تلقائي متغير (VAE) للضغط البصري
MDN-RNN للتنبؤ الزماني ومحاكاة البيئة
وحدة التحكم (C) لاختيار الإجراءات
نجاح تجارب سباقات السيارات و VizDoom
إمكانية تسريع التعلم والكفاءة
تقليل الحاجة إلى التفاعل في العالم الحقيقي
البدء مع نماذج العالم (World Models)
الوصول إلى النموذج: الحصول على كود ونماذج نماذج العالم (World Models).
إعداد البيئة: تكوين بيئة تعلم معزز (مثل CarRacing-v0، VizDoom).
تدريب نموذج العالم: تدريب مكونات VAE و MDN-RNN على بيانات البيئة.
تدريب وحدة التحكم: تدريب سياسة وحدة التحكم باستخدام البيئة التي تم إنشاؤها بواسطة نموذج العالم.
نقل السياسة: نشر وحدة التحكم المدربة في البيئة الفعلية.
التحسين التكراري: للمهام المعقدة، استخدم التدريب التكراري لتحسين نموذج العالم والسياسة.
حالات استخدام نماذج العالم (World Models)
- التعلم المعزز
- الروبوتات
- ذكاء ألعاب الفيديو
- التدريب المحاكى
- تحسين السياسات
- النمذجة التنبؤية
