الوصف
MVDream هو مشروع مفتوح المصدر مستضاف على GitHub، تم تطويره بواسطة bytedance، ويركز على الانتشار متعدد المشاهد (Multi-view Diffusion) لتوليد المحتوى ثلاثي الأبعاد. يحتوي هذا المستودع على نموذج الانتشار وكود توليد الصور ثنائية الأبعاد الذي يشكل أساس ورقة MVDream البحثية. بينما يوفر هذا المستودع قدرات الانتشار الأساسية، فإن التوليد ثلاثي الأبعاد الفعلي يتم التعامل معه بواسطة مشروع منفصل، وهو MVDream-threestudio.
الغرض الأساسي من MVDream هو توليد صور متسقة متعددة المشاهد من مطالبات نصية. هذه القدرة ضرورية لإعادة بناء أو توليد نماذج ثلاثية الأبعاد، حيث توفر المشاهد المتعددة المعلومات الهندسية اللازمة. يستفيد المشروع من قوة نماذج الانتشار، وبناءً على وجه التحديد على بنية ومبادئ Stable Diffusion.
التثبيت مباشر، مما يسمح للمستخدمين بإعداد البيئة باستخدام ملف المتطلبات المقدم أو عن طريق تثبيته كوحدة Python. يوفر المشروع نماذج مدربة مسبقًا، بما في ذلك إصدارات مبنية على Stable Diffusion 2.1 Base و Stable Diffusion 1.5، متاحة على Hugging Face. هذه النماذج مرخصة بموجب ترخيص OpenRAIL.
يمكن للمستخدمين توليد صور متعددة المشاهد مباشرة من سطر الأوامر باستخدام مطالبات نصية. بالإضافة إلى ذلك، يتم توفير سكربت Gradio لتجربة تفاعلية قائمة على واجهة المستخدم الرسومية. يمكن تحميل النماذج تلقائيًا من Hugging Face أو يدويًا باستخدام ملفات التكوين وملفات نقاط الفحص. تتضمن عملية الاستدلال توليد الضوضاء، وتحديد الخطوات الزمنية، وتوفير معلومات التكييف مثل تضمينات النص ومعلمات الكاميرا.
MVDream مستوحى بشكل كبير من مشروع Stable Diffusion ومبني عليه، مع الشكر لمؤلفيه على مساهماتهم مفتوحة المصدر. يهدف المشروع إلى دفع البحث والتطوير في مجال التوليد ثلاثي الأبعاد من خلال توفير أدوات انتشار متعددة المشاهد قوية وسهلة الوصول.
الميزات الأساسية لـ MVDream
توليد صور متعددة المشاهد من مطالبات نصية
بنية نموذج الانتشار
مبني على Stable Diffusion
يوفر كود توليد الصور ثنائية الأبعاد
يدعم نماذج Stable Diffusion 2.1 Base و 1.5
واجهة سطر أوامر لتوليد النص إلى صورة
سكربت Gradio للتفاعل القائم على واجهة المستخدم الرسومية
تحميل تلقائي للنماذج من Hugging Face
تحميل يدوي للنماذج عبر ملفات التكوين ونقاط الفحص
ترخيص OpenRAIL للنماذج
خيار تثبيت وحدة Python
البدء مع MVDream
استنساخ: استنسخ مستودع MVDream من GitHub.
تثبيت: قم بتثبيت التبعيات باستخدام `pip install -r requirements.txt` أو `pip install -e .`.
تكوين: حدد وحمّل نموذجًا مدربًا مسبقًا (على سبيل المثال، `sd-v2.1-base-4view`).
توليد: قم بتشغيل سكربتات توليد النص إلى صورة (على سبيل المثال، `python scripts/t2i.py`).
تفاعل: استخدم تطبيق Gradio لتجربة واجهة المستخدم الرسومية (`python scripts/gradio_app.py`).
استدلال: قم بإجراء استدلال النموذج مع ضوضاء مخصصة، وخطوات زمنية، وتكييف.
حالات استخدام MVDream
- توليد الأصول ثلاثية الأبعاد
- توليف الصور متعددة المشاهد
- البحث في الذكاء الاصطناعي التوليدي
- خط أنابيب الرسومات الحاسوبية
- محتوى الواقع الافتراضي
- محتوى الواقع المعزز
