الوصف
تقدم تقنية 3D Gaussian Splatting لعرض حقول الإشعاع في الوقت الفعلي نهجًا جديدًا لتوليد المشاهد الجديدة، مما يُحدث ثورة في المجال من خلال تحقيق سرعات عرض في الوقت الفعلي دون المساس بالجودة البصرية. غالبًا ما تتطلب طرق حقول الإشعاع التقليدية عمليات تدريب وعرض مكلفة، بينما تضحي البدائل الأسرع بالجودة عادةً. تعالج هذه الطريقة هذه القيود للمشاهد غير المحدودة والكاملة، وتهدف إلى عرض عالي الجودة بدقة 1080p وأكثر من 100 إطار في الثانية.
قراءة المزيد
يكمن الابتكار الأساسي في تمثيل المشاهد باستخدام غاوسيات ثلاثية الأبعاد. يحافظ هذا التمثيل على الخصائص المرغوبة لحقول الإشعاع الحجمية المستمرة للتحسين مع التعامل بكفاءة مع المساحات الفارغة. تتضمن العملية تحسينًا متداخلاً وتحكمًا في كثافة هذه الغاوسيات ثلاثية الأبعاد، مع التركيز بشكل خاص على تحسين التباين غير المتناظر لتمثيل دقيق للمشهد. هذا يسمح بالتقاط أكثر تفصيلاً ودقة لهندسة المشهد ومظهره.
علاوة على ذلك، يشتمل النظام على خوارزمية عرض سريعة تراعي الرؤية. تدعم هذه الخوارزمية التشتت غير المتناظر، مما يسرع بشكل كبير مرحلة التدريب وقدرات العرض في الوقت الفعلي. من خلال مراعاة الرؤية، تصبح عملية العرض أكثر كفاءة وتنتج نتائج أعلى جودة، خاصة في المشاهد المعقدة ذات التفاصيل الدقيقة والانسدادات.
تم إثبات أن الطريقة تحقق جودة بصرية متطورة وأداء عرض في الوقت الفعلي على مجموعات بيانات راسخة مختلفة. تم إجراء تقييمات على مشاهد حقيقية من مجموعات بيانات منشورة سابقًا، بما في ذلك Mip-Nerf360 و Tanks and Temples و Deep Blending، بالإضافة إلى مجموعة بيانات Blender الاصطناعية. تُظهر النتائج فعالية 3D Gaussian Splatting في إنتاج مشاهد جديدة واقعية بسرعة غير مسبوقة.
هذا البحث مفيد بشكل خاص للتطبيقات التي تتطلب استكشافًا تفاعليًا للبيئات ثلاثية الأبعاد، وتجارب الواقع الافتراضي والمعزز، والمؤثرات البصرية عالية الدقة. تفتح القدرة على عرض المشاهد المعقدة في الوقت الفعلي إمكانيات جديدة لإنشاء المحتوى الديناميكي وتجارب المستخدم الغامرة. يدعم المشروع منحة ERC المتقدمة FUNGRAPH والموارد الحاسوبية من GENCI–IDRIS.
- الفئةمولّدات النماذج ثلاثية الأبعاد
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح 3D Gaussian Splatting
توليد مشاهد جديدة في الوقت الفعلي بدقة 1080p (≥ 100 إطار في الثانية)
تمثيل المشهد باستخدام غاوسيات ثلاثية الأبعاد
تحسين متداخل وتحكم في كثافة الغاوسيات
تحسين التباين غير المتناظر لتمثيل دقيق للمشهد
خوارزمية عرض سريعة تراعي الرؤية
تدعم التشتت غير المتناظر
أوقات تدريب متسارعة
جودة بصرية متطورة
تعالج المشاهد غير المحدودة والكاملة
حساب فعال في المساحات الفارغة
البدء مع 3D Gaussian Splatting
الوصول إلى النموذج: قم بتنزيل الكود والبيانات من المستودع المقدم.
إعداد البيئة: قم بتثبيت التبعيات اللازمة كما هو موضح في وثائق المشروع.
إعداد المشاهد: قم بمعالجة الصور أو مقاطع الفيديو الملتقطة لإنشاء نقاط متفرقة لمعايرة الكاميرا.
تحسين الغاوسيات: قم بتشغيل عملية التدريب لتحسين تمثيل الغاوسيات ثلاثية الأبعاد لمشهدك.
دمج العرض: استخدم خوارزمية العرض السريعة لتوليد المشاهد الجديدة في الوقت الفعلي.
تقييم النتائج: قارن المشاهد المعروضة مع البيانات الحقيقية أو الطرق الأخرى لتقييم الجودة.
حالات استخدام 3D Gaussian Splatting
- عرض المشاهد ثلاثية الأبعاد في الوقت الفعلي
- توليد المشاهد الجديدة
- الواقع الافتراضي والمعزز
- تصور إعادة البناء ثلاثي الأبعاد
- إنشاء المحتوى التفاعلي
- المؤثرات البصرية
