الوصف
PanoHead هو مستودع أكواد لورقة بحثية من CVPR 2023 بعنوان "PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360 degree." يقدم هذا المشروع نموذجًا توليديًا جديدًا مدركًا للهندسة ثلاثية الأبعاد قادرًا على توليف صور عالية الجودة ومتسقة مع وجهات النظر لرؤوس بشرية كاملة عبر نطاق 360 درجة. على عكس الطرق السابقة التي غالبًا ما تكون مقيدة بوجهات النظر الأمامية تقريبًا أو تواجه صعوبة في الاتساق ثلاثي الأبعاد بزوايا كبيرة، يستخدم PanoHead صورًا غير منظمة تم التقاطها في ظروف واقعية للتدريب، مما يسد فجوة محاذاة البيانات.
يكمن الابتكار الأساسي في عملية محاذاة صور ذاتية التكيف على مرحلتين مصممة لتدريب نماذج GAN ثلاثية الأبعاد قوية. بالإضافة إلى ذلك، فإنه يستخدم تمثيل حجم عصبي ثلاثي الشبكات للتغلب على مشاكل تشابك الميزات الشائعة في تركيبات المستويات الثلاثية، خاصة بالنسبة للجزء الأمامي والخلفي من الرأس. يدمج PanoHead المعرفة المسبقة من تجزئة الصور ثنائية الأبعاد في التعلم التنافسي لهياكل المشهد العصبي ثلاثي الأبعاد، مما يسهل توليف الرؤوس القابلة للتركيب ضد خلفيات مختلفة. يعزز هذا النهج بشكل كبير توليد رؤوس ثلاثية الأبعاد بهندسة دقيقة ومظاهر متنوعة، بما في ذلك تسريحات الشعر المعقدة، والتي يمكن عرضها من أوضاع عشوائية.
بالإضافة إلى التوليف، يوضح PanoHead القدرة على إعادة بناء رؤوس ثلاثية الأبعاد كاملة من صور إدخال فردية، مما يتيح إنشاء صور رمزية واقعية ثلاثية الأبعاد مخصصة. يوفر المستودع أكوادًا لتوليد نتائج مثل مقاطع الفيديو والصور والأشكال ثلاثية الأبعاد (ملفات .mrc)، بالإضافة إلى نصوص برمجية لإعادة بناء الرأس بالكامل من صور فردية والاستيفاء بين توليدات الرأس المختلفة. كما يتضمن أمثلة لتدريب النموذج من الصفر أو ضبط الشبكات المدربة مسبقًا، بالإضافة إلى تعليمات لتقييم النتائج المولدة باستخدام المقاييس المقدمة.
تم بناء المشروع على قاعدة أكواد EG3D ويتطلب تكوينات أجهزة وبرامج محددة، بما في ذلك Linux، ووحدات معالجة رسومات NVIDIA عالية الأداء، و Python 3.8+، و PyTorch 1.11.0+، ومجموعة أدوات CUDA 11.3 أو أحدث. يتضمن المستودع تعليمات مفصلة لإعداد البيئة، وتنزيل النماذج المدربة مسبقًا، وتشغيل نصوص برمجية مختلفة للتوليد والتدريب. يتم تقديمه كتنفيذ مرجعي بحثي.
الميزات الأساسية لـ PanoHead
توليف الرأس ثلاثي الأبعاد بالكامل بزاوية 360 درجة
نموذج توليدي مدرك للهندسة
توليد صور متسقة مع وجهات النظر
التدريب باستخدام صور تم التقاطها في ظروف واقعية
محاذاة صور ذاتية التكيف على مرحلتين
تمثيل حجم عصبي ثلاثي الشبكات
دمج أولويات تجزئة الصور ثنائية الأبعاد
إعادة بناء الرأس ثلاثي الأبعاد بالكامل من صور فردية
توليد مظاهر متنوعة وهندسة مفصلة
دعم تسريحات الشعر المعقدة
عرض من أوضاع عشوائية
أكواد لتوليد مقاطع الفيديو والصور والأشكال ثلاثية الأبعاد
البدء مع PanoHead
استنساخ المستودع: احصل على أكواد PanoHead من GitHub.
تثبيت التبعيات: قم بإعداد بيئة Python باستخدام ملف environment.yml المقدم.
تنزيل النماذج: احصل على نماذج الشبكات المدربة مسبقًا وضعها في الدليل الجذر.
توليد النتائج: قم بتشغيل نصوص Python البرمجية لتوليد مقاطع الفيديو أو الصور أو الأشكال ثلاثية الأبعاد.
إعادة بناء الرؤوس: استخدم النصوص البرمجية المقدمة لإعادة بناء الرأس بالكامل من صور فردية.
تدريب النموذج: اتبع التعليمات لتدريب أو ضبط نموذج PanoHead.
تقييم المقاييس: قم بتشغيل النصوص البرمجية لتقييم جودة المخرجات المولدة.
حالات استخدام PanoHead
- توليف الرأس ثلاثي الأبعاد
- إنشاء الصور الرمزية
- التجربة الافتراضية للملابس
- أبحاث الرسومات الحاسوبية
- توليد المحتوى
- العرض غير المتأثر بالوضع
- تقنيات محاذاة البيانات
