Deskripsi
PanoHead adalah repositori kode untuk makalah CVPR 2023 berjudul "PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360 degree." Proyek ini memperkenalkan model generatif baru yang sadar-3D yang mampu mensintesis gambar berkualitas tinggi dan konsisten pandangan dari kepala manusia penuh di seluruh rentang 360 derajat. Berbeda dengan metode sebelumnya yang sering terbatas pada pandangan mendekati frontal atau kesulitan dengan konsistensi 3D pada sudut besar, PanoHead memanfaatkan gambar tidak terstruktur di alam liar untuk pelatihan, menjembatani kesenjangan penyelarasan data.
Inovasi inti terletak pada proses penyelarasan gambar mandiri adaptif dua tahap yang dirancang untuk pelatihan GAN 3D yang kuat. Selain itu, ia menggunakan representasi volume neural tri-grid untuk mengatasi masalah keterikatan fitur yang umum dalam formulasi tri-plane, terutama untuk bagian depan dan belakang kepala. PanoHead mengintegrasikan pengetahuan sebelumnya dari segmentasi gambar 2D ke dalam pembelajaran adversarial dari struktur adegan neural 3D, memfasilitasi sintesis kepala yang dapat dikomposisikan terhadap berbagai latar belakang. Pendekatan ini secara signifikan meningkatkan generasi kepala 3D dengan geometri yang akurat dan penampilan yang beragam, termasuk gaya rambut yang kompleks, yang dapat dirender dari pose arbitrer.
Selain sintesis, PanoHead menunjukkan kemampuan untuk merekonstruksi kepala 3D penuh dari gambar input tunggal, memungkinkan avatar 3D realistis yang dipersonalisasi. Repositori menyediakan kode untuk menghasilkan hasil seperti video, gambar, dan bentuk 3D (.mrc files), serta skrip untuk rekonstruksi kepala penuh dari gambar tunggal dan interpolasi antara generasi kepala yang berbeda. Ini juga mencakup contoh untuk melatih model dari awal atau menyempurnakan jaringan yang telah dilatih sebelumnya, bersama dengan instruksi untuk mengevaluasi hasil yang dihasilkan menggunakan metrik yang disediakan.
Proyek ini dibangun di atas basis kode EG3D dan memerlukan konfigurasi perangkat keras dan perangkat lunak tertentu, termasuk Linux, GPU NVIDIA kelas atas, Python 3.8+, PyTorch 1.11.0+, dan CUDA toolkit 11.3 atau yang lebih baru. Repositori ini mencakup instruksi terperinci untuk menyiapkan lingkungan, mengunduh model yang telah dilatih sebelumnya, dan menjalankan berbagai skrip generasi dan pelatihan. Ini disajikan sebagai implementasi referensi penelitian.
Fitur Inti PanoHead
Sintesis kepala penuh 3D 360 derajat
Model generatif sadar-geometri
Generasi gambar konsisten pandangan
Pelatihan dengan gambar di alam liar
Penyelarasan gambar mandiri adaptif dua tahap
Representasi volume neural tri-grid
Integrasi prior segmentasi gambar 2D
Rekonstruksi kepala 3D penuh dari gambar tunggal
Generasi penampilan beragam dan geometri detail
Dukungan untuk gaya rambut kompleks
Rendering pose arbitrer
Kode untuk menghasilkan video, gambar, dan bentuk 3D
Memulai dengan PanoHead
Kloning repositori: Dapatkan kode PanoHead dari GitHub.
Instal dependensi: Siapkan lingkungan Python menggunakan file environment.yml yang disediakan.
Unduh model: Dapatkan model jaringan yang telah dilatih sebelumnya dan tempatkan di direktori root.
Hasilkan hasil: Jalankan skrip Python untuk menghasilkan video, gambar, atau bentuk 3D.
Rekonstruksi kepala: Gunakan skrip yang disediakan untuk rekonstruksi kepala penuh dari gambar tunggal.
Latih model: Ikuti instruksi untuk melatih atau menyempurnakan model PanoHead.
Evaluasi metrik: Jalankan skrip untuk menilai kualitas output yang dihasilkan.
Kasus Penggunaan PanoHead
- Sintesis Kepala 3D
- Pembuatan Avatar
- Virtual Try-On
- Riset Grafika Komputer
- Generasi Konten
- Rendering Invarian Pose
- Teknik Penyelarasan Data
