الوصف
يمثل DreamFusion تقدمًا كبيرًا في توليف النص إلى ثلاثي الأبعاد، متغلبًا على قيود الطرق الحالية التي تتطلب مجموعات بيانات ثلاثية الأبعاد واسعة النطاق وهياكل متخصصة. يستخدم نموذج الذكاء الاصطناعي هذا نموذج انتشار نص إلى صورة ثنائي الأبعاد مدرب مسبقًا، مثل Imagen، كأولوية قوية لإنشاء محتوى ثلاثي الأبعاد. يكمن الابتكار الأساسي في دالة خسارة جديدة تعتمد على تقطير الكثافة الاحتمالية، مما يسمح لنموذج الانتشار ثنائي الأبعاد بتوجيه تحسين التمثيل ثلاثي الأبعاد البارامتري.
في جوهره، يستخدم DreamFusion عملية تحسين تشبه DeepDream. يقوم بتهيئة نموذج ثلاثي الأبعاد، وتحديدًا حقل إشعاع عصبي (NeRF)، ويقوم بتحسينه بشكل متكرر من خلال الانحدار التدريجي. الهدف هو تقليل دالة خسارة مشتقة من عروض ثنائية الأبعاد لـ NeRF من زوايا مختلفة. يتم تقييم هذه العروض مقابل المطالبة النصية باستخدام نموذج الانتشار ثنائي الأبعاد المدرب مسبقًا. هذا النهج يقطر بفعالية المعرفة المضمنة في مليارات أزواج الصور والنصوص من النموذج ثنائي الأبعاد إلى تمثيل ثلاثي الأبعاد متماسك.
الكائنات ثلاثية الأبعاد الناتجة متعددة الاستخدامات للغاية. يمكن عرضها من أي زاوية، مما يسمح بالفحص الشامل والتكامل في سياقات بصرية مختلفة. علاوة على ذلك، فإن الكائنات التي تم إنشاؤها قابلة لإعادة الإضاءة، مما يعني أنه يمكن معالجة مظهرها بإضاءة عشوائية، ويمكن دمجها بسلاسة في بيئات ثلاثية الأبعاد موجودة. هذه المرونة تجعل DreamFusion أداة قيمة للمبدعين والمطورين.
تتطلب منهجية DreamFusion عدم وجود بيانات تدريب ثلاثية الأبعاد وعدم إجراء تعديلات على نموذج انتشار الصورة الأساسي، مما يسلط الضوء على فعالية الاستفادة من النماذج المدربة مسبقًا كأولويات. تُظهر NeRFs التي تم إنشاؤها مظهرًا عالي الدقة ومعلومات عمق دقيقة ونورمات مفصلة. للتطبيقات العملية، يمكن تصدير نماذج NeRF هذه إلى تنسيقات شبكية قياسية باستخدام خوارزميات مثل المكعبات المتدرجة، مما يسهل التكامل في برامج العرض والنمذجة ثلاثية الأبعاد الشائعة. يعرض المشروع أيضًا أمثلة على دمج الكائنات التي تم إنشاؤها في المشاهد ويوفر معرضًا لمئات الأصول التي تم إنشاؤها.
أبرز ملامح DreamFusion
ينشئ كائنات ثلاثية الأبعاد من مطالبات نصية
يستخدم نماذج الانتشار ثنائية الأبعاد المدربة مسبقًا كأولويات
ينشئ حقول الإشعاع العصبي (NeRFs)
لا يتطلب بيانات تدريب ثلاثية الأبعاد
لا حاجة لتعديلات على نموذج انتشار الصورة
ينتج نماذج ثلاثية الأبعاد قابلة لإعادة الإضاءة
يدعم الإضاءة العشوائية
يسمح بالدمج في البيئات ثلاثية الأبعاد
ينشئ مظهرًا عالي الدقة وعمقًا ونورمات
إمكانية تصدير الشبكة عبر المكعبات المتدرجة
أخذ عينات تقطير الدرجات (SDS) للتوليد
يتضمن منظمات واستراتيجيات تحسين لتحسين الهندسة
البدء مع DreamFusion
إدخال المطالبة النصية: قدم وصفًا تفصيليًا للكائن ثلاثي الأبعاد المطلوب.
تحسين النموذج: يستخدم DreamFusion نموذج انتشار ثنائي الأبعاد كأولوية لتحسين نموذج NeRF ثلاثي الأبعاد.
العرض والتقييم: يتم عرض NeRF من زوايا عشوائية، ويتم تقييم صوره ثنائية الأبعاد مقابل المطالبة النصية.
التحسين التكراري: يقوم الانحدار التدريجي بضبط معلمات NeRF لتقليل الخسارة، مما يحسن التماسك والمظهر.
تصدير الشبكة: بمجرد التحسين، يمكن تحويل NeRF إلى شبكة لاستخدامها في برامج ثلاثية الأبعاد أخرى.
حالات استخدام DreamFusion
- إنشاء أصول ثلاثية الأبعاد
- النماذج الأولية
- إنشاء المحتوى
- البحث والتطوير
- بناء العوالم الافتراضية
- أدوات تعليمية
