Deskripsi
GET3D adalah model generatif baru yang dikembangkan oleh Toronto AI Lab dan NVIDIA, dirancang untuk menghasilkan bentuk bertekstur 3D berkualitas tinggi langsung dari data gambar 2D. Mengatasi permintaan yang terus meningkat untuk alat pembuatan konten 3D yang skalabel di industri seperti game, realitas virtual, dan desain digital, GET3D mensintesis mesh bertekstur yang langsung kompatibel dengan mesin rendering 3D standar. Hal ini melewati kerumitan renderer neural yang sering ditemukan pada model generatif 3D sebelumnya, membuat outputnya dapat langsung digunakan dalam perangkat lunak 3D umum.
Baca Selengkapnya
Model beroperasi dengan menghasilkan Fungsi Jarak Bertanda 3D (SDF) dan bidang tekstur, keduanya berasal dari kode laten. Renderer yang dapat dibedakan, khususnya DMTet, digunakan untuk mengekstrak mesh permukaan 3D dari SDF. Bidang tekstur kemudian dikueri pada titik permukaan untuk menetapkan warna, menghasilkan tekstur dengan fidelitas tinggi. Pelatihan dicapai melalui kerugian adversarial yang ditentukan pada gambar 2D, memanfaatkan dua diskriminator yang mengklasifikasikan gambar RGB dan siluet asli versus palsu. Pendekatan yang dapat dilatih secara end-to-end ini memungkinkan GET3D untuk belajar dari kumpulan data gambar 2D yang luas.
GET3D menunjukkan kemampuan luar biasa dalam menghasilkan aset 3D yang beragam, termasuk mobil, kursi, hewan, sepeda motor, karakter manusia, dan bangunan. Model ini unggul dalam menghasilkan bentuk dengan topologi arbitrer, geometri terperinci, dan tekstur fidelitas tinggi, secara signifikan mengungguli metode sebelumnya. Fitur utama adalah pemisahan antara geometri dan tekstur, yang memungkinkan manipulasi bentuk dan tampilan secara independen. Model ini juga mendukung interpolasi yang bermakna dalam ruang latennya, memungkinkan transisi yang mulus antara bentuk dan tekstur yang berbeda, dan dapat menghasilkan bentuk baru dengan variasi lokal yang kecil.
Selanjutnya, GET3D dapat digabungkan dengan teknik lain untuk pembuatan material tanpa pengawasan dan dapat diadaptasi untuk pembuatan bentuk yang dipandu teks. Dengan menyempurnakan generator 3D menggunakan kerugian CLIP pada gambar 2D yang dirender dan prompt teks yang disediakan pengguna, GET3D dapat menghasilkan bentuk yang bermakna berdasarkan deskripsi tekstual. Fleksibilitas ini menjadikannya alat yang ampuh bagi pembuat konten yang ingin menghasilkan berbagai aset 3D secara efisien dan dengan kualitas visual yang tinggi.
- KategoriGenerator Model 3D
- PenerapanCloud
- PlatformWeb
Sorotan GET3D
Menghasilkan mesh 3D bertekstur berkualitas tinggi
Dapat langsung digunakan dalam mesin rendering 3D
Mensintesis bentuk dengan topologi arbitrer
Menghasilkan detail geometris yang kaya dan tekstur fidelitas tinggi
Belajar dari koleksi gambar 2D
Mencapai pemisahan antara geometri dan tekstur
Mendukung interpolasi ruang laten yang bermakna
Memungkinkan pembuatan bentuk baru dengan variasi
Dapat diadaptasi untuk pembuatan bentuk yang dipandu teks
Dilatih menggunakan kerugian adversarial pada gambar 2D
Memanfaatkan renderer yang dapat dibedakan (DMTet)
Menghasilkan bidang SDF dan tekstur 3D
Memulai dengan GET3D
Akses model: Dapatkan akses ke bobot dan kode model GET3D.
Siapkan lingkungan: Konfigurasikan dependensi perangkat lunak dan perangkat keras yang diperlukan.
Integrasi melalui API: Gunakan pustaka atau API yang disediakan untuk berinteraksi dengan model.
Buat aset 3D: Masukkan kode laten atau prompt teks untuk mensintesis mesh 3D bertekstur.
Ekstrak mesh: Gunakan DMTet untuk mengekstrak mesh permukaan dari SDF yang dihasilkan.
Terapkan tekstur: Kueri bidang tekstur untuk warna titik permukaan.
Perbaiki dan ekspor: Proses lebih lanjut atau ekspor aset yang dihasilkan untuk aplikasi hilir.
Kasus Penggunaan GET3D
- Pembuatan Aset 3D
- Konten Dunia Virtual
- Pengembangan Game
- Pengalaman AR/VR
- Desain Digital
- Sintesis Teks-ke-3D
- Variasi Topologi
