الوصف
StoryDiffusion هو نظام ذكاء اصطناعي متطور مصمم لتوليد صور وفيديوهات متماسكة ومتسقة عبر تسلسلات ممتدة. تم قبول هذا المشروع كعرض تقديمي مميز (Spotlight Presentation Paper) في مؤتمر NeurIPS 2024، ويقدم المشروع طرقًا مبتكرة لمعالجة تحديات الحفاظ على الاتساق البصري في إنشاء المحتوى طويل المدى.
قراءة المزيد
يكمن الابتكار الأساسي في آلية "الانتباه الذاتي المتسق" (Consistent Self-Attention)، المصممة خصيصًا لتوليد الصور مع اتساق الشخصيات. تم تصميم هذه الميزة لتكون قابلة للتوصيل السريع ومتوافقة مع نماذج Stable Diffusion الحالية، بما في ذلك معماريات SD1.5 و SDXL. لضمان اتساق الشخصيات بشكل فعال، يُطلب من المستخدمين تقديم ثلاثة نصوص توجيهية (prompts) على الأقل، مع توصية بخمسة إلى ستة نصوص توجيهية لترتيب تخطيط مثالي. هذا يضمن بقاء الشخصيات والعناصر المرئية متسقة طوال سلسلة الصور المولدة.
لتكملة قدرات توليد الصور، يدمج StoryDiffusion "متنبئ الحركة" (Motion Predictor) لتوليد الفيديو طويل المدى. تعمل هذه المكونة عن طريق التنبؤ بالحركة في مساحة دلالية مضغوطة للصور، مما يتيح إنشاء مقاطع فيديو بحركة أكثر أهمية وسلاسة. يتم تحقيق ذلك من خلال عملية من مرحلتين: أولاً، توليد سلسلة من الصور المتسقة باستخدام وحدة الانتباه الذاتي، ثم الانتقال بسلاسة بين هذه الصور لتشكيل فيديو.
يوفر النظام تطبيقات متعددة الاستخدامات، بما في ذلك إنشاء القصص المصورة وتحويل الصور إلى فيديو. تستفيد ميزة إنشاء القصص المصورة من توليد الصور المتسق لإنشاء لوحات متسلسلة. تتيح وظيفة تحويل الصور إلى فيديو للمستخدمين إدخال سلسلة من الصور الشرطية، والتي يستخدمها النموذج بعد ذلك لتوليد فيديو. يسهل هذا النهج إنشاء محتوى طويل وعالي الجودة تم إنشاؤه بواسطة الذكاء الاصطناعي. يوفر المشروع تطبيقات رسمية وعروض توضيحية، بما في ذلك إصدار يتطلب ذاكرة GPU منخفضة لزيادة إمكانية الوصول.
تم تطوير StoryDiffusion مع التركيز على البحث والتطوير في توليد الوسائط المدفوعة بالذكاء الاصطناعي. يتم استضافة المشروع على GitHub، مما يشجع على مساهمات المجتمع والشفافية. يتطلب التثبيت Python 3.8+ و PyTorch 2.0.0، مع إدارة التبعيات من خلال ملف المتطلبات. يؤكد المطورون على الاستخدام المسؤول للتكنولوجيا، والالتزام بالقوانين المحلية والمبادئ التوجيهية الأخلاقية.
- الفئةمولّدات الصور بالذكاء الاصطناعي
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ StoryDiffusion
الانتباه الذاتي المتسق لتوليد الصور باتساق الشخصيات
قابل للتوصيل السريع ومتوافق مع نماذج SD1.5 و SDXL
متنبئ الحركة لتوليد الفيديو طويل المدى
نهج توليد الفيديو الطويل ذو المرحلتين
قدرات إنشاء القصص المصورة
توليد الصور إلى فيديو من صور شرطية
يتوفر إصدار بذاكرة GPU منخفضة
التنفيذ الرسمي لورقة العرض المميز NeurIPS 2024
يدعم نصوص توجيهية متعددة لترتيب التخطيط
يتنبأ بالحركة في مساحة دلالية مضغوطة للصور
البدء مع StoryDiffusion
استنساخ المستودع: احصل على كود StoryDiffusion من مستودع GitHub.
تثبيت التبعيات: قم بإعداد بيئة Python وتثبيت الحزم المطلوبة باستخدام pip.
تكوين الإعدادات: اضبط المعلمات وقدم النصوص التوجيهية حسب الحاجة لتوليد الصور/الفيديو.
تشغيل التوليد: قم بتنفيذ البرامج النصية أو العروض التوضيحية المقدمة لإنشاء القصص المصورة أو الفيديو.
تحسين المخرجات: جرب تكوينات النصوص التوجيهية لتحسين الاتساق والحركة.
حالات استخدام StoryDiffusion
- إنشاء الكتب المصورة
- إنشاء لوحات القصة (Storyboarding)
- توليد الفيديو
- تحريك الشخصيات
- سرد القصص المرئية
- إنشاء المحتوى
- أبحاث الذكاء الاصطناعي
