Description
Plenoxels présente une avancée majeure dans la représentation de scènes 3D en introduisant un modèle de voxels épars dépendant de la vue qui atteint la fidélité des champs de radiance neuronaux (NeRF) sans aucun composant de réseau neuronal. Cette approche innovante, détaillée dans l'article CVPR 2022, s'optimise à un niveau comparable à NeRF mais avec un coût computationnel considérablement réduit. Les temps d'optimisation typiques sont d'environ 11 minutes sur un seul GPU, représentant une accélération de deux ordres de grandeur par rapport à NeRF.
Lire la suite
Le cœur de Plenoxels réside dans sa grille de voxels éparse, où chaque voxel stocke la densité et les coefficients harmoniques sphériques. Pour le rendu d'un rayon, le système interpole ces coefficients via une interpolation trilinéaire aux points d'échantillonnage. La couleur et l'opacité de ces échantillons sont ensuite intégrées à l'aide d'un rendu volumique différentiable, une technique popularisée par NeRF. Les coefficients des voxels sont optimisés en utilisant une perte de reconstruction standard par erreur quadratique moyenne (MSE) par rapport aux images d'entraînement, augmentée d'un régulariseur de variation totale pour garantir des résultats lisses et cohérents.
Cette méthode démontre une convergence ultra-rapide, atteignant des métriques comparables (PSNR) 100 fois plus vite que NeRF et produisant des résultats raisonnables en quelques secondes. Plenoxels est capable de reproduire les résultats de NeRF sur des scènes orientées vers l'avant en utilisant la paramétrisation NDC de NeRF. De plus, l'approche est étendue pour gérer des scènes réelles à 360° en incorporant un modèle d'arrière-plan basé sur des images multi-sphères (MSI), similaire à NeRF++.
Le modèle Plenoxel est particulièrement précieux pour les chercheurs et les développeurs travaillant sur la reconstruction 3D, la vision par ordinateur et les applications graphiques qui nécessitent une représentation de scène rapide et précise. Son efficacité le rend adapté aux applications où l'itération et le rendu rapides sont cruciaux, comme dans la réalité virtuelle, la réalité augmentée et le développement de jeux. La capacité d'obtenir des résultats de haute qualité sans la surcharge computationnelle des réseaux neuronaux ouvre de nouvelles possibilités pour la création et la manipulation de contenu 3D en temps réel.
- CatégorieGénérateurs de modèles 3D
- DéploiementCloud
- PlateformesWeb
Points forts de Plenoxels : Champs de radiance
Optimise les champs de radiance sans réseaux neuronaux
Atteint une haute fidélité comparable à NeRF
Temps d'optimisation d'environ 11 minutes sur un seul GPU
Deux ordres de grandeur plus rapide que NeRF
Utilise une grille de voxels éparse pour la densité et les coefficients harmoniques sphériques
Emploie une interpolation trilinéaire pour la couleur et l'opacité des points d'échantillonnage
Intègre la couleur et l'opacité à l'aide d'un rendu volumique différentiable
Optimise les coefficients des voxels avec une perte de reconstruction MSE
Inclut un régulariseur de variation totale pour des résultats lisses
Prend en charge les scènes orientées vers l'avant en utilisant la paramétrisation NDC de NeRF
Extensible aux scènes à 360° avec un modèle d'arrière-plan d'images multi-sphères
Premiers pas avec Plenoxels : Champs de radiance
Accéder au modèle : Obtenir l'implémentation Plenoxel.
Configurer l'environnement : Préparer les bibliothèques et dépendances nécessaires.
Intégrer via le code : Incorporer Plenoxel dans votre pipeline de reconstruction 3D.
Optimiser les coefficients des voxels : Lancer le processus d'optimisation à l'aide des images d'entraînement.
Rendre les scènes : Générer de nouvelles vues à partir de la grille Plenoxel optimisée.
Cas d'utilisation de Plenoxels : Champs de radiance
- Reconstruction de scène 3D
- Contenu de réalité virtuelle
- Superpositions de réalité augmentée
- Recherche en vision par ordinateur
- Prototypage rapide
- Synthèse de nouvelles vues
