Description
Instant Neural Graphics Primitives avec un Encodage de Hachage Multi-résolution présente une approche novatrice pour accélérer l'entraînement et l'évaluation des primitives graphiques neuronales. Traditionnellement, ces primitives, paramétrées par des réseaux neuronaux entièrement connectés, peuvent être coûteuses en calcul. Cette nouvelle méthode d'encodage réduit considérablement ces coûts en permettant l'utilisation de réseaux neuronaux plus petits sans compromettre la qualité. L'innovation principale réside dans l'augmentation d'un petit réseau neuronal avec une table de hachage multi-résolution de vecteurs de caractéristiques entraînables.
Lire la suite
Ces vecteurs de caractéristiques sont optimisés par descente de gradient stochastique. La structure multi-résolution de la table de hachage est cruciale, car elle permet au réseau de désambiguïser efficacement les collisions de hachage. Il en résulte une architecture simple mais puissante, hautement parallélisable sur les GPU modernes. Le système exploite cette parallélisation grâce à des noyaux CUDA entièrement fusionnés, méticuleusement conçus pour minimiser le gaspillage de bande passante et les opérations de calcul. Cette optimisation entraîne une accélération de plusieurs ordres de grandeur, rendant possible l'entraînement de primitives graphiques neuronales de haute qualité en quelques secondes et leur rendu en millisecondes à des résolutions comme 1920x1080.
L'encodage est indépendant des tâches, ce qui signifie que la même implémentation et les mêmes hyperparamètres peuvent être utilisés pour diverses applications, seule la taille de la table de hachage étant ajustée pour équilibrer qualité et performance. Cette polyvalence la rend applicable à des tâches diverses telles que la représentation d'images gigapixels, l'apprentissage de fonctions de distance signée (SDF) dans l'espace 3D, la reconstruction de champs de radiance et de densité volumétriques pour NeRF (Neural Radiance Fields), et l'apprentissage direct de champs de radiance et de densité débruités à partir du lancer de rayons volumétriques. Les avantages de l'entraînement instantané, de la haute qualité et de la simplicité architecturale sont constamment démontrés dans ces applications.
Cette technologie a été reconnue par le SIGGRAPH Best Paper Award en 2022 et a été listée parmi les Meilleures Inventions de 2022 par TIME. Le code associé est disponible sur GitHub, facilitant son adoption et son développement ultérieur par les chercheurs et les praticiens en infographie et en IA. L'article a été initialement publié sur arXiv en janvier 2022 et a ensuite été accepté par ACM Transactions on Graphics pour SIGGRAPH 2022.
- CatégorieGénérateurs de modèles 3D
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWindows, Linux
Points forts de Instant Neural Graphics Primitives
Entraînement quasi instantané de primitives graphiques neuronales sur un seul GPU
Encodage de hachage multi-résolution pour les réseaux neuronaux
Coût de calcul et opérations d'accès mémoire réduits
Permet l'utilisation de réseaux neuronaux plus petits sans sacrifier la qualité
Encodage indépendant des tâches applicable à diverses tâches graphiques
Résultats de haute qualité pour les images gigapixels, NeRF et SDF
Optimisé pour le parallélisme GPU avec des noyaux CUDA entièrement fusionnés
Accélération significative (ordres de grandeur) de l'entraînement et du rendu
Atteint le rendu en temps réel à une résolution de 1920x1080
Architecture simple avec parallélisation triviale
Taille de table de hachage adaptable pour un compromis qualité/performance
Premiers pas avec Instant Neural Graphics Primitives
Accéder au modèle : Télécharger ou cloner le code depuis le dépôt GitHub fourni.
Configurer l'environnement : Installer les dépendances nécessaires et le toolkit CUDA selon la documentation.
Intégrer l'encodage : Implémenter l'encodage de hachage multi-résolution dans votre architecture de réseau neuronal.
Entraîner les primitives : Utiliser les scripts d'entraînement fournis pour des tâches telles que NeRF, SDF ou la représentation d'images.
Optimiser les hyperparamètres : Ajuster la taille de la table de hachage et les paramètres du réseau pour la qualité et la vitesse souhaitées.
Rendre les résultats : Utiliser le modèle optimisé pour le rendu à haute vitesse des primitives graphiques.
Cas d'utilisation de Instant Neural Graphics Primitives
- Champs de Radiance Neuronaux (NeRF)
- Images Gigapixels
- Fonctions de Distance Signée (SDF)
- Rendu en Temps Réel
- Rendu Volumétrique
- Entraînement de Primitives Graphiques
