Beschreibung
Instant Neural Graphics Primitives mit einer multiresolutionalen Hash-Kodierung präsentiert einen neuartigen Ansatz zur Beschleunigung des Trainings und der Auswertung von neuronalen Grafikprimitiven. Traditionell können diese Primitiven, die durch vollständig verbundene neuronale Netze parametrisiert werden, rechenintensiv sein. Diese neue Kodierungsmethode reduziert diese Kosten erheblich, indem sie die Verwendung kleinerer neuronaler Netze ohne Qualitätseinbußen ermöglicht. Die Kerninnovation liegt in der Erweiterung eines kleinen neuronalen Netzes um eine multiresolutionale Hash-Tabelle mit trainierbaren Feature-Vektoren.
Weiterlesen
Diese Feature-Vektoren werden durch stochastischen Gradientenabstieg optimiert. Die multiresolutionale Struktur der Hash-Tabelle ist entscheidend, da sie es dem Netzwerk ermöglicht, Hash-Kollisionen effektiv aufzulösen. Dies führt zu einer einfachen, aber leistungsstarken Architektur, die auf modernen GPUs hochgradig parallelisierbar ist. Das System nutzt diese Parallelität durch vollständig fusionierte CUDA-Kerne, die sorgfältig entwickelt wurden, um Bandbreitenverschwendung und Rechenoperationen zu minimieren. Diese Optimierung führt zu einer Beschleunigung um mehrere Größenordnungen, wodurch hochwertige neuronale Grafikprimitiven in Sekunden trainiert und in Millisekunden bei Auflösungen wie 1920x1080 gerendert werden können.
Die Kodierung ist aufgabenunabhängig, d.h. die gleiche Implementierung und die gleichen Hyperparameter können für verschiedene Anwendungen verwendet werden, wobei nur die Größe der Hash-Tabelle angepasst wird, um Qualität und Leistung auszubalancieren. Diese Vielseitigkeit macht sie für verschiedene Aufgaben anwendbar, wie z.B. die Darstellung von Gigapixel-Bildern, das Erlernen von Signed Distance Functions (SDF) im 3D-Raum, die Rekonstruktion von volumetrischen Strahlungs- und Dichtefeldern für NeRF (Neural Radiance Fields) und das direkte Erlernen von entrauschten Strahlungs- und Dichtefeldern aus volumetrischem Path Tracing. Die Vorteile des sofortigen Trainings, der hohen Qualität und der architektonischen Einfachheit werden in diesen Anwendungen durchgängig demonstriert.
Diese Technologie wurde mit dem SIGGRAPH Best Paper Award 2022 ausgezeichnet und in TIME's Best Inventions of 2022 aufgeführt. Der begleitende Code ist auf GitHub verfügbar und erleichtert dessen Übernahme und Weiterentwicklung durch Forscher und Praktiker in den Bereichen Computergrafik und KI. Das Paper wurde ursprünglich im Januar 2022 auf arXiv veröffentlicht und anschließend für SIGGRAPH 2022 zu ACM Transactions on Graphics angenommen.
- Kategorie3D-Modell-Generatoren
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWindows, Linux
Instant Neural Graphics Primitives im Überblick
Nahezu sofortiges Training von neuronalen Grafikprimitiven auf einer einzigen GPU
Multiresolutionale Hash-Kodierung für neuronale Netze
Reduzierte Rechenkosten und Speicherzugriffsoperationen
Ermöglicht die Verwendung kleinerer neuronaler Netze ohne Qualitätseinbußen
Aufgabenunabhängige Kodierung, anwendbar auf verschiedene Grafikaufgaben
Hochwertige Ergebnisse für Gigapixel-Bilder, NeRF und SDF
Optimiert für GPU-Parallelität mit vollständig fusionierten CUDA-Kernen
Signifikante Beschleunigung (Größenordnungen) beim Training und Rendering
Erzielt Echtzeit-Rendering bei einer Auflösung von 1920x1080
Einfache Architektur mit trivialer Parallelisierung
Anpassbare Hash-Tabellengröße für Qualität/Leistungs-Kompromiss
Erste Schritte mit Instant Neural Graphics Primitives
Modellzugriff: Laden Sie den Code aus dem bereitgestellten GitHub-Repository herunter oder klonen Sie ihn.
Umgebung einrichten: Installieren Sie die notwendigen Abhängigkeiten und das CUDA-Toolkit gemäß der Dokumentation.
Kodierung integrieren: Implementieren Sie die multiresolutionale Hash-Kodierung in Ihrer neuronalen Netzwerkarchitektur.
Primitive trainieren: Nutzen Sie die bereitgestellten Trainingsskripte für Aufgaben wie NeRF, SDF oder Bilddarstellung.
Hyperparameter optimieren: Passen Sie die Größe der Hash-Tabelle und die Netzwerkparameter für die gewünschte Qualität und Geschwindigkeit an.
Ergebnisse rendern: Verwenden Sie das optimierte Modell für schnelles Rendering von Grafikprimitiven.
Instant Neural Graphics Primitives's Anwendungsfälle
- Neuronale Strahlungsfelder
- Gigapixel-Bilder
- Signed Distance Functions
- Echtzeit-Rendering
- Volumetrisches Rendering
- Training von Grafikprimitiven
