الوصف
Parti، نموذج توليد الصور من النصوص بالمسارات التلقائية الانحدارية، هو نهج جديد لتوليد صور واقعية من الأوصاف النصية. يؤطر توليد الصور من النصوص كمشكلة نمذجة تسلسل إلى تسلسل، مما يرسم أوجه تشابه مع الترجمة الآلية ويستفيد من التطورات في نماذج اللغة الكبيرة، لا سيما تلك التي تم إطلاقها عن طريق توسيع نطاق البيانات وأحجام النماذج. يستخدم Parti مُرمّز الصور ViT-VQGAN لتحويل الصور إلى تسلسلات من الرموز المميزة المنفصلة، مما يمكّنه من إعادة بناء هذه التسلسلات إلى صور عالية الجودة ومتنوعة بصريًا.
قراءة المزيد
يُظهر هذا النموذج تحسينات مستمرة في الجودة مع توسيع نطاق مُشفّر-مُفكّك التشفير الخاص به إلى 20 مليار معامل. حقق Parti درجات FID رائدة في فئتها بدون تدريب مسبق (zero-shot) تبلغ 7.23 ودرجات FID بعد الضبط الدقيق (finetuned) تبلغ 3.22 على معيار MS-COCO. تمتد فعاليته عبر مجموعة واسعة من الفئات والتحديات، كما تم تحليلها على معيار PartiPrompts الذي تم إصداره حديثًا، وهو مجموعة شاملة تضم أكثر من 1600 مطالبة باللغة الإنجليزية مصممة لقياس قدرات النموذج عبر جوانب متنوعة.
يتفوق Parti في التعامل مع المطالبات الطويلة والمعقدة التي تتطلب انعكاسًا دقيقًا للمعرفة العالمية، وتكوين العديد من المشاركين والكائنات بتفاصيل وتفاعلات دقيقة، والالتزام بتنسيقات وأنماط صور محددة. تتجلى قدرات النموذج في قدرته على إنشاء صور بناءً على مفاهيم مجردة، ودمج المعرفة العالمية، وعرض وجهات نظر محددة، وحتى إنتاج نصوص ورموز داخل الصور. يسلط البحث أيضًا الضوء على القيود ومجالات التحسين المستقبلية، مثل التعامل مع النفي والإشارات إلى الغياب.
تم تطوير Parti باستخدام Lingvo وتوسيعه باستخدام GSPMD على أجهزة TPU v4، مما يسمح لهندسة Parti بتوسيع نطاق كبير. تُظهر المقارنات بين النماذج التي تتراوح من 350 مليون إلى 20 مليار معامل تحسينات كبيرة في قدرات النموذج وجودة الصورة الناتجة. فضل المقيمون البشريون باستمرار النماذج الأكبر، لا سيما من حيث واقعية الصورة وجودتها ومواءمة النص والصورة. يُظهر نموذج الـ 20 مليار معامل قوة خاصة في المطالبات التي تتطلب تفكيرًا مجردًا، ومعرفة عالمية، ووجهات نظر محددة، وعرض النصوص والرموز.
بينما يقدم Parti إمكانيات مثيرة للإبداع والتواصل البصري، يعترف البحث بالمخاطر الكبيرة، بما في ذلك احتمال ترميز الصور النمطية الضارة والتمثيلات بسبب التحيزات في بيانات التدريب. على غرار نماذج توليد الصور من النصوص الأخرى، قد يعكس Parti التحيزات الغربية ويقلل من تمثيل بعض الخلفيات. يُعد احتمال إنشاء صور مزيفة عميقة ونشر معلومات مضللة مصدر قلق أيضًا. نظرًا لهذه المخاطر، قررت Google Research عدم إصدار نماذج Parti أو الكود أو البيانات للجمهور دون مزيد من الضمانات. بدلاً من ذلك، يقدمون علامة مائية لـ Parti على الصور المنشورة ويخططون للتركيز على قياس التحيز، واستراتيجيات التخفيف، والتنسيق مع الفنانين لاستكشاف التطبيقات المسؤولة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح Parti: نموذج توليد الصور من النصوص بالمسارات التلقائية الانحدارية
توليد صور من النصوص بالمسارات التلقائية الانحدارية
توليد صور واقعية عالية الدقة
يدعم التوليف الغني بالمحتوى بتكوينات معقدة
يستفيد من تطورات نماذج اللغة الكبيرة
نهج نمذجة تسلسل إلى تسلسل
يستخدم ViT-VQGAN لترميز الصور
هندسة قابلة للتوسع تصل إلى 20 مليار معامل
يحقق درجات FID رائدة في فئتها على MS-COCO
فعال عبر فئات المطالبات المتنوعة وجوانب الصعوبة
يتعامل مع المطالبات المجردة والمعرفة العالمية
يعرض وجهات نظر ونصوص/رموز محددة
تم تنفيذه في Lingvo وتوسيعه باستخدام GSPMD على TPU v4
البدء مع Parti: نموذج توليد الصور من النصوص بالمسارات التلقائية الانحدارية
الوصول إلى النموذج: فهم ورقة البحث ونتائجها حول Parti.
استكشاف القدرات: مراجعة أمثلة المطالبات والصور التي تم إنشاؤها لتقييم أداء النموذج.
تحليل نتائج المعيار: فحص درجات FID والأداء على معيار PartiPrompts.
فهم القيود: التعرف على حالات الفشل المحددة ومجالات التحسين.
النظر في الاستخدام المسؤول: الوعي بالاعتبارات الأخلاقية والمخاطر المرتبطة بنماذج توليد الصور من النصوص.
مراجعة بطاقة البيانات: الوصول إلى معلومات حول ممارسات جمع البيانات وتطوير النموذج.
حالات استخدام Parti: نموذج توليد الصور من النصوص بالمسارات التلقائية الانحدارية
- توليد صور واقعية
- توليف المشاهد المعقدة
- دمج المعرفة العالمية
- تصور المفاهيم المجردة
- محاكاة الأساليب الفنية
- عرض النصوص والرموز
- إنشاء محتوى إبداعي
