الوصف
StyleSwin هو تطبيق رسمي لشبكة توليدية تنافسية (GAN) تعتمد على المحولات (transformers) لتوليف الصور عالية الدقة، تم تقديمه في CVPR 2022. يستكشف المشروع إمكانات المحولات النقية في النمذجة التوليدية، معالجةً التحدي المتمثل في أن المحولات لم تضاهِ بعد أداء الشبكات التلافيفية (ConvNets) في توليد الصور عالية الدقة.
قراءة المزيد
الابتكار الأساسي في StyleSwin يكمن في بنيته، التي تستخدم محولات Swin ضمن إطار عمل يعتمد على الأسلوب (style-based). لتعزيز كل من الكفاءة والقدرة على النمذجة، يقدم آلية "انتباه مزدوج" (double attention). يأخذ هذا النهج في الاعتبار في وقت واحد سياق النوافذ المحلية والنوافذ المزاحة، مما يؤدي إلى تحسين جودة توليد الصور. علاوة على ذلك، يدمج StyleSwin معلومات الموضع المطلقة، والتي غالبًا ما تُفقد في المحولات القائمة على النوافذ، مما يفيد عملية التوليد بشكل كبير.
تم تصميم النموذج ليكون قابلاً للتوسع إلى دقات عالية، حيث تستفيد كل من الهندسة الخشنة والهياكل الدقيقة من تعبيرية المحولات. يتمثل أحد التحديات الرئيسية التي تم تناولها في حدوث تشوهات حظر (blocking artifacts) أثناء التوليف عالي الدقة، والتي يمكن أن تنشأ من الانتباه المحلي الذي يعمل بطريقة قائمة على الكتل ويعطل التماسك المكاني. يعالج StyleSwin هذا عن طريق استخدام مميز موجي (wavelet discriminator) يفحص التباينات الطيفية، مما يقمع هذه التشوهات بفعالية.
تُظهر التجارب المكثفة تفوق StyleSwin على شبكات GANs الحالية القائمة على المحولات، خاصةً عند الدقات العالية مثل 1024x1024. يتفوق على StyleGAN على CelebA-HQ بدقة 1024x1024 ويحقق أداءً مماثلاً على FFHQ بدقة 1024x1024، مما يسلط الضوء على وعد المحولات لتوليد الصور عالية الدقة دون الحاجة إلى استراتيجيات تدريب معقدة.
يوفر المستودع الكود لتوليد عينات الصور، وتقييم درجات FID، وتدريب نماذج جديدة على مجموعات بيانات مختلفة بما في ذلك FFHQ و CelebA-HQ و LSUN Church بدقات مختلفة. كما يتضمن نتائج كمية تُظهر درجات FID منخفضة للصور المولدة عبر مجموعات بيانات ودقات مختلفة. يؤكد المشروع على اعتبارات الذكاء الاصطناعي المسؤولة، محذرًا من سوء الاستخدام لانتحال الشخصية وتشجيع ممارسات البيانات العادلة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ StyleSwin: Transformer-based GAN
بنية شبكة GAN تعتمد على المحولات
توليد صور عالية الدقة تصل إلى 1024x1024
دمج محولات Swin
آلية انتباه مزدوجة لسياق النوافذ المحلية والمزاحة
دمج معلومات الموضع المطلقة
مميز موجي لقمع التشوهات
قابل للتوسع إلى دقات عالية
يتفوق على شبكات GANs السابقة القائمة على المحولات
يحقق أداءً تنافسيًا مع StyleGAN عند الدقات العالية
تنفيذ رسمي لورقة CVPR 2022
البدء مع StyleSwin: Transformer-based GAN
الوصول إلى النموذج: استنساخ مستودع GitHub.
إعداد البيئة: تثبيت التبعيات باستخدام `pip install -r requirements.txt`.
توليد العينات: استخدام البرامج النصية Python المقدمة لتوليد عينات صور بنموذج مدرب مسبقًا.
تقييم FID: تشغيل البرامج النصية للتقييم لتقييم جودة الصور المولدة باستخدام درجات FID.
تدريب النموذج: إعداد مجموعات البيانات واستخدام البرامج النصية للتدريب على FFHQ أو CelebA-HQ أو LSUN Church.
التكيف مع الذاكرة: إضافة `--use_checkpoint` للتدريب على وحدات معالجة الرسومات (GPUs) بذاكرة 16 جيجابايت.
حالات استخدام StyleSwin: Transformer-based GAN
- توليف الصور عالية الدقة
- نماذج توليدية تعتمد على المحولات
- بحث وتطوير شبكات GAN
- إنشاء صور فنية
- زيادة البيانات
