الوصف
يقدم مستودع DM-GAN على GitHub تطبيقًا لشبكات الخصومة التوليدية ذات الذاكرة الديناميكية (DM-GAN) لتوليد الصور من النصوص، كما هو مفصل في ورقة CVPR2019 بعنوان "DM-GAN: Dynamic Memory Generative Adversarial Networks for Text-to-Image Synthesis". يوفر هذا المشروع للباحثين والمطورين الكود اللازم لتكرار نموذج DM-GAN والبناء عليه.
قراءة المزيد
يتضمن المستودع تعليمات شاملة لإعداد البيئة، وتنزيل مجموعات البيانات (الطيور و COCO)، والحصول على النماذج المدربة مسبقًا لكل من مشفرات DAMSM و DM-GAN نفسها. يمكن للمستخدمين تدريب النموذج على مجموعات بيانات مخصصة أو استخدام الأوزان المدربة مسبقًا المتوفرة للاستخدام الفوري.
تشمل القدرات الرئيسية توليد صور عالية الجودة تتوافق بدقة مع الأوصاف النصية. يدعم المشروع التدريب والتقييم لكل من مجموعتي بيانات الطيور و COCO. كما يوفر سكربتات لحساب مقياس Inception Score (IS) ومقياس Fréchet Inception Distance (FID)، وهما مقياسان حاسمان لتقييم النماذج التوليدية. تم توثيق مقاييس الأداء من الورقة البحثية، بما في ذلك R-precision، و IS، و FID لكل من تطبيقات PyTorch و TensorFlow، مما يسمح بالمقارنة المباشرة.
يشمل الجمهور المستهدف لهذا المستودع باحثي الذكاء الاصطناعي، ومهندسي التعلم الآلي، وممارسي رؤية الكمبيوتر المهتمين بشبكات الخصومة التوليدية، وتوليد الصور من النصوص، والتعلم العميق لتوليد الصور. تشجع الطبيعة مفتوحة المصدر للمشروع بموجب ترخيص MIT على التعاون والتطوير المستقبلي في هذا المجال.
تكمن القيمة المقترحة في توفير تطبيق PyTorch موثق جيدًا وسهل الوصول إليه لنموذج توليد صور من نصوص متطور، مكتمل بالموارد للتدريب والتقييم وقياس الأداء. هذا يسهل التجريب والابتكار بشكل أسرع في مجال الذكاء الاصطناعي التوليدي.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ DM-GAN
تطبيق PyTorch لـ DM-GAN
قدرات توليد الصور من النصوص
مبني على ورقة CVPR2019
يشمل كود التدريب والتقييم
يوفر نماذج مدربة مسبقًا لـ DAMSM و DM-GAN
يدعم مجموعات بيانات الطيور و COCO
سكربتات لحساب Inception Score (IS)
سكربتات لحساب Fréchet Inception Distance (FID)
مقاييس أداء مفصلة موثقة
مفتوح المصدر بموجب ترخيص MIT
البدء مع DM-GAN
إعداد البيئة: تثبيت Python 2.7، PyTorch 0.4، TensorFlow، والمكتبات المطلوبة.
تنزيل البيانات: الحصول على البيانات الوصفية للطيور و COCO، ثم تنزيل مجموعات بيانات الصور.
تنزيل النماذج المدربة مسبقًا: الحصول على مشفرات DAMSM ونماذج DM-GAN لمجموعتي الطيور و COCO.
تدريب النموذج: الانتقال إلى دليل الكود وتشغيل سكربتات التدريب مع التكوينات المحددة.
توليد صور التحقق: استخدام ملفات تكوين التقييم لتوليد الصور.
تقييم الأداء: تشغيل السكربتات لحساب Inception Score و FID للصور المولدة.
حالات استخدام DM-GAN
- توليد الصور من النصوص
- أبحاث النماذج التوليدية
- قياس أداء توليد الصور
- توليد المحتوى الإبداعي
- تجارب التعلم العميق
