الوصف
يقدم GaussianObject إطار عمل جديد لإنشاء عمليات إعادة بناء للأجسام ثلاثية الأبعاد بجودة عالية من مجموعة دنيا من أربع صور مدخلة. تستفيد هذه الطريقة من تقنية Gaussian splatting لتمثيل وعرض الأجسام ثلاثية الأبعاد، محققة دقة بصرية رائعة. الابتكار الرئيسي هو قدرتها على الأداء بفعالية حتى في الظروف الخالية من COLMAP، مما يقلل بشكل كبير من حاجز الدخول لمهام إعادة البناء ثلاثي الأبعاد.
تبدأ العملية بتقنيات مثل بناء الهيكل المرئي (visual hull) وإزالة العوامات (floater elimination). هذه الطرق تحقن أولويات هيكلية في التحسين الأولي، مما يساعد في إنشاء تمثيل غاوسي ثلاثي الأبعاد متسق وخشن. هذا التمثيل الأولي يلتقط الشكل والبنية الأساسية للكائن.
بعد إعادة البناء الأولي، يتم استخدام نموذج إصلاح غاوسي (Gaussian repair model)، مبني على نماذج الانتشار. هذا النموذج يكمل أي معلومات كائن مفقودة ويحسن الغاوسيات الموجودة بشكل أكبر، مما يؤدي إلى نموذج نهائي أكثر تفصيلاً ودقة. يتم استخدام استراتيجية توليد ذاتي لإنشاء أزواج صور مناسبة لتدريب نموذج الإصلاح هذا، مما يضمن فعاليته.
يُظهر GaussianObject نتائج إعادة بناء فائقة مقارنة بالطرق السابقة المتطورة عند استخدام أربع وجهات نظر فقط. تم تصميم الإطار ليكون قابلاً للتكيف، مع توفير إرشادات لكل من الاستخدام القياسي ومتغير خالٍ من COLMAP. تسمح هذه المرونة للمستخدمين بإعادة بناء الأجسام الملتقطة بشكل اعتباطي بسهولة أكبر.
تم تقديم المشروع كمساهمة بحثية من SIGGRAPH Asia 2024، ونُشر في ACM Transactions on Graphics (TOG). يقدم حلاً قوياً للباحثين والمطورين المهتمين بإعادة بناء الأجسام ثلاثية الأبعاد بكفاءة ودقة عالية، خاصة في السيناريوهات التي لا تتوفر فيها بيانات متعددة وجهات النظر واسعة النطاق أو أوضاع كاميرا دقيقة.
الميزات الأساسية لـ GaussianObject
إعادة بناء الأجسام ثلاثية الأبعاد بجودة عالية من أربع وجهات نظر
يستخدم تقنية Gaussian splatting للتمثيل والعرض
قدرات إعادة بناء خالية من COLMAP
يجمع بين الهيكل المرئي ونماذج الانتشار للتحسين
يحقن أولويات هيكلية للاتساق متعدد وجهات النظر
استراتيجية توليد ذاتي لتدريب نماذج الإصلاح
يتفوق على الطرق السابقة المتطورة مع وجهات نظر محدودة
يوفر إرشادات للاستخدام القياسي والخالي من COLMAP
بحث مقدم في SIGGRAPH Asia 2024 (ACM TOG)
البدء مع GaussianObject
استنساخ المستودع: استنسخ مستودع GaussianObject، مع التأكد من تضمين الوحدات الفرعية.
إعداد البيئة: قم بتثبيت حزم Python المطلوبة، بما في ذلك PyTorch مع دعم CUDA.
إعداد البيانات: قم بتنظيم مجموعة البيانات الخاصة بك مع الصور وملفات التكوين الضرورية، أو استخدم مجموعات البيانات المتوفرة مثل Mip-NeRF360.
إنشاء الهيكل المرئي: قم بتشغيل البرنامج النصي visual_hull.py لإنشاء تمثيل ثلاثي الأبعاد أولي.
تدريب 3DGS الأولي: استخدم train_gs.py لتحسين تمثيل Gaussian ثلاثي الأبعاد الأولي.
التحسين باستخدام نموذج الإصلاح: قم بتدريب وتطبيق نموذج إصلاح Gaussian لإعادة البناء التفصيلي.
عرض النتائج: استخدم render.py لتصور إعادة بناء الكائن ثلاثي الأبعاد النهائي.
حالات استخدام GaussianObject
- إعادة بناء الأجسام ثلاثية الأبعاد
- إنشاء الأصول
- بديل التصوير المساحي
- البحث في الرؤية الحاسوبية
- النماذج الأولية السريعة
- الأرشفة الرقمية
