الوصف
تقدم الأشكال الرسومية العصبية الفورية مع ترميز تجزئة متعدد الدقة نهجًا جديدًا لتسريع تدريب وتقييم الأشكال الرسومية العصبية. تقليديًا، يمكن أن تكون هذه الأشكال، التي يتم تمثيلها بواسطة شبكات عصبية متصلة بالكامل، مكلفة حسابيًا. تقلل طريقة الترميز الجديدة هذه بشكل كبير من هذه التكاليف من خلال السماح باستخدام شبكات عصبية أصغر دون المساس بالجودة. يكمن الابتكار الأساسي في تعزيز شبكة عصبية صغيرة بجدول تجزئة متعدد الدقة من متجهات الميزات القابلة للتدريب.
قراءة المزيد
يتم تحسين متجهات الميزات هذه من خلال هبوط التدرج العشوائي. الهيكل متعدد الدقة لجدول التجزئة أمر بالغ الأهمية، لأنه يمكّن الشبكة من تمييز تصادمات التجزئة بشكل فعال. ينتج عن هذا بنية بسيطة وقوية قابلة للموازاة بدرجة عالية على وحدات معالجة الرسومات الحديثة. يستفيد النظام من هذه الموازاة من خلال نوى CUDA المدمجة بالكامل، المصممة بدقة لتقليل عرض النطاق الترددي المهدر وعمليات الحساب. يؤدي هذا التحسين إلى تسريع بمقدار عدة مرات، مما يجعل من الممكن تدريب أشكال رسومية عصبية عالية الجودة في ثوانٍ وعرضها في أجزاء من الثانية بدقة مثل 1920x1080.
الترميز مستقل عن المهمة، مما يعني أنه يمكن استخدام نفس التنفيذ والمعلمات الفائقة عبر تطبيقات مختلفة، مع تعديل حجم جدول التجزئة فقط لموازنة الجودة والأداء. هذا التنوع يجعله قابلاً للتطبيق على مهام متنوعة مثل تمثيل الصور جيجابايت، وتعلم دوال المسافة الموقعة (SDF) في الفضاء ثلاثي الأبعاد، وإعادة بناء مجالات الإشعاع والكثافة الحجمية لـ NeRF (حقول الإشعاع العصبية)، وتعلم مجالات الإشعاع والكثافة الخالية من الضوضاء مباشرة من تتبع المسار الحجمي. يتم إثبات فوائد التدريب الفوري والجودة العالية والبساطة المعمارية باستمرار عبر هذه التطبيقات.
تم الاعتراف بهذه التقنية بجائزة أفضل ورقة بحثية في SIGGRAPH لعام 2022 وتم إدراجها في قائمة أفضل اختراعات TIME لعام 2022. الكود المصاحب متاح على GitHub، مما يسهل اعتماده وتطويره بشكل أكبر من قبل الباحثين والممارسين في الرسومات الحاسوبية والذكاء الاصطناعي. تم إصدار الورقة البحثية في الأصل على arXiv في يناير 2022 وتم قبولها لاحقًا في ACM Transactions on Graphics لـ SIGGRAPH 2022.
- الفئةمولّدات النماذج ثلاثية الأبعاد
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتWindows, Linux
أبرز ملامح Instant Neural Graphics Primitives
تدريب شبه فوري للأشكال الرسومية العصبية على وحدة معالجة رسومات واحدة
ترميز تجزئة متعدد الدقة للشبكات العصبية
تقليل التكلفة الحسابية وعمليات الوصول إلى الذاكرة
يتيح استخدام شبكات عصبية أصغر دون المساس بالجودة
ترميز مستقل عن المهمة قابل للتطبيق على مهام رسومية مختلفة
نتائج عالية الجودة للصور جيجابايت، NeRF، و SDF
محسّن لموازاة وحدة معالجة الرسومات مع نوى CUDA مدمجة بالكامل
تسريع كبير (عدة مرات) في التدريب والعرض
يحقق عرضًا في الوقت الفعلي بدقة 1920x1080
بنية بسيطة مع موازاة تافهة
حجم جدول تجزئة قابل للتكيف لموازنة الجودة/الأداء
البدء مع Instant Neural Graphics Primitives
الوصول إلى النموذج: قم بتنزيل أو استنساخ الكود من مستودع GitHub المقدم.
إعداد البيئة: قم بتثبيت التبعيات اللازمة وحزمة CUDA وفقًا للوثائق.
دمج الترميز: قم بتنفيذ ترميز التجزئة متعدد الدقة ضمن بنية شبكتك العصبية.
تدريب الأشكال: استخدم نصوص التدريب المقدمة لمهام مثل NeRF، SDF، أو تمثيل الصور.
تحسين المعلمات الفائقة: اضبط حجم جدول التجزئة ومعلمات الشبكة للحصول على الجودة والسرعة المطلوبة.
عرض النتائج: استخدم النموذج المحسّن للعرض عالي السرعة للأشكال الرسومية.
حالات استخدام Instant Neural Graphics Primitives
- حقول الإشعاع العصبية (NeRF)
- صور جيجابايت
- دوال المسافة الموقعة (SDF)
- العرض في الوقت الفعلي
- العرض الحجمي
- تدريب الأشكال الرسومية
