الوصف
Stable-DreamFusion هو تطبيق قائم على PyTorch لنموذج DreamFusion من النص إلى ثلاثي الأبعاد، معزز بقدرات نموذج Stable Diffusion من النص إلى ثنائي الأبعاد. يوفر هذا المشروع إطار عمل لتوليد المحتوى ثلاثي الأبعاد، ويدعم التحويلات من المطالبات النصية والصور إلى نماذج ثلاثية الأبعاد. يدمج حقول الإشعاع العصبية (NeRF) مع نماذج الانتشار لتحقيق قوته التوليدية.
قراءة المزيد
تتمحور الوظيفة الأساسية حول تحويل المدخلات ثنائية الأبعاد، مثل الأوصاف النصية أو الصور، إلى تمثيلات ثلاثية الأبعاد. يشمل ذلك توليد من النص إلى ثلاثي الأبعاد، حيث يمكن للمستخدمين وصف كائن مرغوب فيه، ومن الصورة إلى ثلاثي الأبعاد، والذي يسمح بإنشاء نماذج ثلاثية الأبعاد من صور فردية. يسهل المشروع أيضًا تصدير الشبكات، مما يمكّن المستخدمين من استخراج واستخدام النماذج ثلاثية الأبعاد التي تم إنشاؤها في تطبيقات مختلفة.
تشمل الميزات البارزة الدعم للواجهات الخلفية المختلفة مثل Instant-NGP للعرض الأسرع وواجهة NeRF الأساسية لتجربة PyTorch نقية دون الحاجة إلى ملحقات CUDA. كما أنه يدمج تقنيات متقدمة مثل Perp-Neg لمعالجة مشاكل الرؤوس المتعددة في توليد من النص إلى ثلاثي الأبعاد ويدعم التوجيه من نماذج مثل DeepFloyd-IF. تم تصميم المشروع للباحثين والمطورين المهتمين باستكشاف آفاق إنشاء المحتوى ثلاثي الأبعاد والذكاء الاصطناعي التوليدي.
يمكن للمستخدمين تثبيت وتشغيل Stable-DreamFusion عن طريق استنساخ المستودع، وتثبيت التبعيات، وتنفيذ نصوص Python. يوفر المشروع مرونة في التكوين، مما يسمح للمستخدمين بتحديد معلمات مختلفة للتدريب والاختبار. كما يوفر خيارات لتصحيح الأخطاء والتصور، بما في ذلك واجهة مستخدم رسومية للتحكم الحر في عرض المشاهد ثلاثية الأبعاد التي تم إنشاؤها. يقر المشروع باعتماده على العديد من الأعمال البحثية والمشاريع مفتوحة المصدر، مما يعزز روح التعاون داخل مجتمع الذكاء الاصطناعي.
- الفئةمولّدات النماذج ثلاثية الأبعاد
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ Stable-DreamFusion
توليد من النص إلى ثلاثي الأبعاد من المطالبات النصية.
توليد من الصورة إلى ثلاثي الأبعاد من صور الإدخال الفردية.
تصدير الشبكات للنماذج ثلاثية الأبعاد المستخرجة.
دمج نماذج NeRF و Diffusion.
دعم Stable Diffusion و DeepFloyd-IF كواجهات خلفية للانتشار.
واجهة Instant-NGP الخلفية للعرض المعجل.
واجهة NeRF الأساسية لتطبيق PyTorch النقي.
تقنية Perp-Neg للتخفيف من مشاكل الرؤوس المتعددة.
واجهة Taichi الخلفية الاختيارية للتشغيل بدون CUDA.
قدرات الضبط الدقيق للشبكات باستخدام DMTet.
واجهة مستخدم رسومية للتصور والتحكم التفاعلي.
دعم المطالبات النصية السلبية.
البدء مع Stable-DreamFusion
المطور: استنسخ المستودع من GitHub.
المطور: قم بتثبيت تبعيات Python المطلوبة باستخدام pip.
المطور: قم بتنزيل النماذج المدربة مسبقًا لوظائف محددة.
المطور: قم بتكوين المعلمات للتدريب أو الاستدلال.
المطور: قم بتنفيذ نصوص Python للتوليد من النص إلى ثلاثي الأبعاد أو من الصورة إلى ثلاثي الأبعاد.
المطور: اختبر وقم بتصور النماذج ثلاثية الأبعاد التي تم إنشاؤها أو قم بتصدير الشبكات.
حالات استخدام Stable-DreamFusion
- إنشاء أصول ثلاثية الأبعاد
- النماذج الأولية
- الفن التوليدي
- البحث والتطوير
- البيئات الافتراضية
- توليد الشبكات
- التحويل من الصورة إلى ثلاثي الأبعاد
