Deskripsi
Instant Neural Graphics Primitives dengan Pengkodean Hash Multiresolusi menyajikan pendekatan baru untuk mempercepat pelatihan dan evaluasi primitif grafis neural. Secara tradisional, primitif ini, yang diparameterisasi oleh jaringan neural yang terhubung sepenuhnya, bisa sangat mahal secara komputasi. Metode pengkodean baru ini secara signifikan mengurangi biaya tersebut dengan memungkinkan penggunaan jaringan neural yang lebih kecil tanpa mengorbankan kualitas. Inovasi inti terletak pada penambahan jaringan neural kecil dengan tabel hash multiresolusi dari vektor fitur yang dapat dilatih.
Baca Selengkapnya
Vektor fitur ini dioptimalkan melalui penurunan gradien stokastik. Struktur multiresolusi dari tabel hash sangat penting, karena memungkinkan jaringan untuk secara efektif mendiskriminasi tabrakan hash. Hal ini menghasilkan arsitektur yang sederhana namun kuat yang sangat dapat diparalelkan pada GPU modern. Sistem memanfaatkan paralelisme ini melalui kernel CUDA yang sepenuhnya terpadu, yang dirancang dengan cermat untuk meminimalkan pemborosan bandwidth dan operasi komputasi. Optimasi ini menghasilkan percepatan beberapa tingkat besaran, memungkinkan pelatihan primitif grafis neural berkualitas tinggi dalam hitungan detik dan merendernya dalam milidetik pada resolusi seperti 1920x1080.
Pengkodean ini bersifat agnostik terhadap tugas, yang berarti implementasi dan hyperparameter yang sama dapat digunakan di berbagai aplikasi, dengan hanya ukuran tabel hash yang disesuaikan untuk menyeimbangkan kualitas dan kinerja. Fleksibilitas ini membuatnya dapat diterapkan pada berbagai tugas seperti merepresentasikan gambar gigapixel, mempelajari fungsi jarak bertanda (SDF) dalam ruang 3D, merekonstruksi medan radiansi dan kepadatan volumetrik untuk NeRF (Neural Radiance Fields), dan secara langsung mempelajari medan radiansi dan kepadatan yang dihilangkan kebisingannya dari pelacakan jalur volumetrik. Manfaat pelatihan instan, kualitas tinggi, dan kesederhanaan arsitektur secara konsisten ditunjukkan di berbagai aplikasi ini.
Teknologi ini diakui dengan SIGGRAPH Best Paper Award pada tahun 2022 dan terdaftar dalam TIME's Best Inventions of 2022. Kode yang menyertainya tersedia di GitHub, memfasilitasi adopsi dan pengembangan lebih lanjut oleh para peneliti dan praktisi dalam grafis komputer dan AI. Makalah ini awalnya dirilis di arXiv pada Januari 2022 dan kemudian diterima di ACM Transactions on Graphics untuk SIGGRAPH 2022.
- KategoriGenerator Model 3D
- Model HargaOpen source
- PenerapanCloud
- PlatformWindows, Linux
Sorotan Instant Neural Graphics Primitives
Pelatihan primitif grafis neural yang hampir instan pada satu GPU
Pengkodean hash multiresolusi untuk jaringan neural
Pengurangan biaya komputasi dan operasi akses memori
Memungkinkan penggunaan jaringan neural yang lebih kecil tanpa mengorbankan kualitas
Pengkodean agnostik tugas yang berlaku untuk berbagai tugas grafis
Hasil berkualitas tinggi untuk gambar gigapixel, NeRF, dan SDF
Dioptimalkan untuk paralelisme GPU dengan kernel CUDA yang sepenuhnya terpadu
Percepatan signifikan (beberapa tingkat besaran) dalam pelatihan dan rendering
Mencapai rendering real-time pada resolusi 1920x1080
Arsitektur sederhana dengan paralelisasi trivial
Ukuran tabel hash yang dapat disesuaikan untuk trade-off kualitas/kinerja
Memulai dengan Instant Neural Graphics Primitives
Akses model: Unduh atau kloning kode dari repositori GitHub yang disediakan.
Siapkan lingkungan: Instal dependensi yang diperlukan dan toolkit CUDA sesuai dokumentasi.
Integrasikan pengkodean: Implementasikan pengkodean hash multiresolusi dalam arsitektur jaringan neural Anda.
Latih primitif: Gunakan skrip pelatihan yang disediakan untuk tugas-tugas seperti NeRF, SDF, atau representasi gambar.
Optimalkan hyperparameter: Sesuaikan ukuran tabel hash dan parameter jaringan untuk kualitas dan kecepatan yang diinginkan.
Render hasil: Gunakan model yang dioptimalkan untuk rendering primitif grafis berkecepatan tinggi.
Kasus Penggunaan Instant Neural Graphics Primitives
- Bidang Radiansi Neural
- Gambar Gigapixel
- Fungsi Jarak Bertanda
- Rendering Real-time
- Rendering Volumetrik
- Pelatihan Primitif Grafis
