الوصف
GET3D هو نموذج توليدي مبتكر طوره مختبر تورنتو للذكاء الاصطناعي وNVIDIA، وهو مصمم لإنتاج أشكال ثلاثية الأبعاد عالية الجودة مع نسيج مباشر من بيانات الصور ثنائية الأبعاد. لمعالجة الطلب المتزايد على أدوات إنشاء المحتوى ثلاثي الأبعاد القابلة للتطوير في صناعات مثل الألعاب والواقع الافتراضي والتصميم الرقمي، يقوم GET3D بتصنيع شبكات منسوجة متوافقة فورًا مع محركات العرض ثلاثية الأبعاد القياسية. هذا يتجاوز تعقيدات العارضات العصبية الموجودة غالبًا في النماذج التوليدية ثلاثية الأبعاد السابقة، مما يجعل المخرجات قابلة للاستخدام مباشرة في برامج ثلاثية الأبعاد شائعة.
قراءة المزيد
يعمل النموذج عن طريق إنشاء دالة مسافة موقعية ثلاثية الأبعاد (SDF) وحقل نسيج، وكلاهما مشتق من رموز كامنة. يتم استخدام عارض قابل للتفاضل، وتحديدًا DMTet، لاستخراج شبكة سطح ثلاثية الأبعاد من SDF. ثم يتم الاستعلام عن حقل النسيج عند نقاط السطح لتعيين الألوان، مما ينتج عنه أنسجة عالية الدقة. يتم تحقيق التدريب من خلال خسائر تنافسية محددة على صور ثنائية الأبعاد، باستخدام مميزين يصنفان الصور الحقيقية مقابل المزيفة (RGB) والصور الظلية. يسمح هذا النهج القابل للتدريب من البداية إلى النهاية لـ GET3D بالتعلم من مجموعات بيانات الصور ثنائية الأبعاد الواسعة.
يُظهر GET3D قدرات ملحوظة في إنشاء أصول ثلاثية الأبعاد متنوعة، بما في ذلك السيارات والكراسي والحيوانات والدراجات النارية والشخصيات البشرية والمباني. يتفوق في إنتاج أشكال ذات طوبولوجيا اعتباطية، وهندسة مفصلة، وأنسجة عالية الدقة، متفوقًا بشكل كبير على الطرق السابقة. تتمثل إحدى الميزات الرئيسية في الفصل بين الهندسة والنسيج، مما يسمح بالتلاعب المستقل بالشكل والمظهر. يدعم النموذج أيضًا الاستيفاء الهادف في مساحته الكامنة، مما يتيح انتقالات سلسة بين الأشكال والأنسجة المختلفة، ويمكنه إنشاء أشكال جديدة مع اختلافات محلية طفيفة.
علاوة على ذلك، يمكن دمج GET3D مع تقنيات أخرى لإنشاء مواد غير خاضعة للإشراف ويمكن تكييفها لإنشاء أشكال موجهة بالنص. من خلال الضبط الدقيق للمولد ثلاثي الأبعاد باستخدام خسارة CLIP على الصور ثنائية الأبعاد المعروضة ومطالبات النص التي يقدمها المستخدم، يمكن لـ GET3D إنتاج أشكال ذات معنى بناءً على الأوصاف النصية. هذه المرونة تجعله أداة قوية لمنشئي المحتوى الذين يسعون إلى إنشاء مجموعة واسعة من الأصول ثلاثية الأبعاد بكفاءة وبجودة بصرية عالية.
- الفئةمولّدات النماذج ثلاثية الأبعاد
- النشرسحابي
- المنصاتالويب
أبرز ملامح GET3D
يولد شبكات ثلاثية الأبعاد عالية الجودة مع نسيج
قابل للاستخدام مباشرة في محركات العرض ثلاثية الأبعاد
يصنع أشكالًا ذات طوبولوجيا اعتباطية
ينتج تفاصيل هندسية غنية وأنسجة عالية الدقة
يتعلم من مجموعات الصور ثنائية الأبعاد
يحقق فصلًا بين الهندسة والنسيج
يدعم الاستيفاء الهادف في المساحة الكامنة
يمكّن من إنشاء أشكال جديدة مع اختلافات
يمكن تكييفه لإنشاء أشكال موجهة بالنص
تم تدريبه باستخدام خسائر تنافسية على صور ثنائية الأبعاد
يستخدم عارضًا قابلًا للتفاضل (DMTet)
يولد SDF ثلاثي الأبعاد وحقول نسيج
البدء مع GET3D
الوصول إلى النموذج: الحصول على أوزان النموذج GET3D والرمز الخاص به.
إعداد البيئة: تكوين التبعيات البرمجية والأجهزة اللازمة.
التكامل عبر API: استخدام المكتبات أو واجهات برمجة التطبيقات المقدمة للتفاعل مع النموذج.
إنشاء أصول ثلاثية الأبعاد: إدخال رموز كامنة أو مطالبات نصية لتصنيع شبكات ثلاثية الأبعاد منسوجة.
استخراج الشبكات: استخدام DMTet لاستخراج شبكات الأسطح من SDFs المولدة.
تطبيق الأنسجة: الاستعلام عن حقل النسيج لألوان نقاط السطح.
التحسين والتصدير: معالجة إضافية أو تصدير الأصول المولدة للتطبيقات اللاحقة.
حالات استخدام GET3D
- إنشاء أصول ثلاثية الأبعاد
- محتوى العوالم الافتراضية
- تطوير الألعاب
- تجارب الواقع المعزز/الافتراضي
- التصميم الرقمي
- التصنيع النصي إلى ثلاثي الأبعاد
- تنوع الطوبولوجيا
