الوصف
تقدم Plenoxels اختراقًا في تمثيل المشاهد ثلاثية الأبعاد من خلال تقديم نموذج فوكسل متفرقة يعتمد على زاوية الرؤية، والذي يحقق دقة حقول الإشعاع العصبية (NeRFs) دون أي مكونات شبكة عصبية. هذا النهج المبتكر، المفصل في ورقة CVPR 2022، يحسن إلى مستوى مماثل لـ NeRF ولكن بتكلفة حسابية مخفضة بشكل كبير. عادة ما تكون أوقات التحسين حوالي 11 دقيقة على وحدة معالجة رسومات واحدة، مما يمثل تسريعًا بمقدار رتبتين مقارنة بـ NeRF.
يكمن جوهر Plenoxels في شبكة الفوكسل المتفرقة الخاصة بها، حيث يخزن كل فوكسل الكثافة ومعاملات التوافقيات الكروية. لرسم شعاع، يقوم النظام باستيفاء هذه المعاملات عبر الاستيفاء الثلاثي الخطي عند نقاط العينة. ثم يتم دمج لون وعتامة هذه العينات باستخدام رسم حجمي قابل للتفاضل، وهي تقنية شاعها NeRF. يتم تحسين معاملات الفوكسل باستخدام خسارة إعادة بناء قياسية لمتوسط الخطأ التربيعي (MSE) مقابل صور التدريب، معززة بمنظم التباين الكلي لضمان نتائج سلسة ومتماسكة.
توضح هذه الطريقة تقاربًا فائق السرعة، حيث تصل إلى مقاييس مماثلة (PSNR) أسرع بـ 100 مرة من NeRF وتنتج نتائج معقولة في غضون ثوانٍ. Plenoxels قادرة على مطابقة نتائج NeRF في المشاهد المواجهة للأمام عن طريق استخدام معلمات NDC الخاصة بـ NeRF. علاوة على ذلك، يتم توسيع النهج للتعامل مع المشاهد الحقيقية بزاوية 360 درجة من خلال دمج نموذج خلفية يعتمد على صور متعددة الكرات (MSI)، على غرار NeRF++.
يعد نموذج Plenoxel ذا قيمة خاصة للباحثين والمطورين الذين يعملون على تطبيقات إعادة البناء ثلاثي الأبعاد والرؤية الحاسوبية والرسومات الذين يحتاجون إلى تمثيل سريع ودقيق للمشهد. تجعله كفاءته مناسبًا للتطبيقات التي تكون فيها التكرارات السريعة والرسم ضرورية، مثل الواقع الافتراضي والواقع المعزز وتطوير الألعاب. تفتح القدرة على تحقيق نتائج عالية الجودة دون الحمل الحسابي للشبكات العصبية إمكانيات جديدة لإنشاء المحتوى ثلاثي الأبعاد ومعالجته في الوقت الفعلي.
أبرز ملامح Plenoxels: حقول الإشعاع
يحسن حقول الإشعاع بدون شبكات عصبية
يحقق دقة عالية تضاهي NeRF
وقت التحسين حوالي 11 دقيقة على وحدة معالجة رسومات واحدة
أسرع بمرتين من حيث الرتب من NeRF
يستخدم شبكة فوكسل متفرقة للكثافة ومعاملات التوافقيات الكروية
يستخدم الاستيفاء الثلاثي الخطي للون وعتامة نقاط العينة
يدمج اللون والعتامة باستخدام رسم حجمي قابل للتفاضل
يحسن معاملات الفوكسل بخسارة إعادة بناء MSE
يتضمن منظم تباين كلي لنتائج سلسة
يدعم المشاهد المواجهة للأمام باستخدام معلمات NDC الخاصة بـ NeRF
قابل للتوسيع للمشاهد بزاوية 360 درجة مع نموذج خلفية صور متعددة الكرات
البدء مع Plenoxels: حقول الإشعاع
الوصول إلى النموذج: احصل على تطبيق Plenoxel.
إعداد البيئة: جهز المكتبات والتبعيات اللازمة.
التكامل عبر الكود: قم بدمج Plenoxel في خط أنابيب إعادة البناء ثلاثي الأبعاد الخاص بك.
تحسين معاملات الفوكسل: قم بتشغيل عملية التحسين باستخدام صور التدريب.
رسم المشاهد: قم بإنشاء عروض جديدة من شبكة Plenoxel المحسنة.
حالات استخدام Plenoxels: حقول الإشعاع
- إعادة بناء المشاهد ثلاثية الأبعاد
- محتوى الواقع الافتراضي
- تراكبات الواقع المعزز
- أبحاث الرؤية الحاسوبية
- النماذج الأولية السريعة
- توليد العروض الجديدة
