Descripción
Instant Neural Graphics Primitives con una Codificación Hash Multiresolución presenta un enfoque novedoso para acelerar el entrenamiento y la evaluación de primitivas de gráficos neuronales. Tradicionalmente, estas primitivas, parametrizadas por redes neuronales completamente conectadas, pueden ser computacionalmente costosas. Este nuevo método de codificación reduce significativamente estos costos al permitir el uso de redes neuronales más pequeñas sin comprometer la calidad. La innovación central radica en aumentar una red neuronal pequeña con una tabla hash multiresolución de vectores de características entrenables.
Leer más
Estos vectores de características se optimizan mediante descenso de gradiente estocástico. La estructura multiresolución de la tabla hash es crucial, ya que permite a la red desambiguar eficazmente las colisiones de hash. Esto resulta en una arquitectura simple pero potente que es altamente paralelizable en GPUs modernas. El sistema aprovecha esta paralelización a través de kernels CUDA completamente fusionados, meticulosamente diseñados para minimizar el ancho de banda desperdiciado y las operaciones de cómputo. Esta optimización conduce a una aceleración de varios órdenes de magnitud, haciendo posible entrenar primitivas de gráficos neuronales de alta calidad en segundos y renderizarlas en milisegundos a resoluciones como 1920x1080.
La codificación es agnóstica a la tarea, lo que significa que la misma implementación e hiperparámetros se pueden usar en diversas aplicaciones, ajustando solo el tamaño de la tabla hash para equilibrar calidad y rendimiento. Esta versatilidad la hace aplicable a diversas tareas como la representación de imágenes gigapixel, el aprendizaje de funciones de distancia con signo (SDF) en el espacio 3D, la reconstrucción de campos de radiancia y densidad volumétrica para NeRF (Neural Radiance Fields), y el aprendizaje directo de campos de radiancia y densidad sin ruido a partir de trazado de rayos volumétrico. Los beneficios del entrenamiento instantáneo, la alta calidad y la simplicidad arquitectónica se demuestran consistentemente en estas aplicaciones.
Esta tecnología fue reconocida con el Premio al Mejor Artículo de SIGGRAPH en 2022 y fue incluida en las Mejores Invenciones de 2022 de TIME. El código adjunto está disponible en GitHub, facilitando su adopción y desarrollo posterior por parte de investigadores y profesionales en gráficos por computadora e IA. El artículo fue publicado inicialmente en arXiv en enero de 2022 y posteriormente aceptado en ACM Transactions on Graphics para SIGGRAPH 2022.
- CategoríaGeneradores de modelos 3D
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWindows, Linux
Aspectos destacados de Instant Neural Graphics Primitives
Entrenamiento casi instantáneo de primitivas de gráficos neuronales en una sola GPU
Codificación hash multiresolución para redes neuronales
Reducción del costo computacional y las operaciones de acceso a memoria
Permite el uso de redes neuronales más pequeñas sin sacrificar calidad
Codificación agnóstica a la tarea aplicable a diversas tareas gráficas
Resultados de alta calidad para imágenes gigapixel, NeRF y SDF
Optimizado para paralelismo de GPU con kernels CUDA completamente fusionados
Aceleración significativa (órdenes de magnitud) en entrenamiento y renderizado
Logra renderizado en tiempo real a resolución 1920x1080
Arquitectura simple con paralelización trivial
Tamaño de tabla hash adaptable para equilibrio calidad/rendimiento
Primeros pasos con Instant Neural Graphics Primitives
Acceder al modelo: Descargue o clone el código del repositorio de GitHub proporcionado.
Configurar entorno: Instale las dependencias necesarias y el kit de herramientas CUDA según la documentación.
Integrar codificación: Implemente la codificación hash multiresolución dentro de su arquitectura de red neuronal.
Entrenar primitivas: Utilice los scripts de entrenamiento proporcionados para tareas como NeRF, SDF o representación de imágenes.
Optimizar hiperparámetros: Ajuste el tamaño de la tabla hash y los parámetros de la red para la calidad y velocidad deseadas.
Renderizar resultados: Utilice el modelo optimizado para renderizado de alta velocidad de primitivas gráficas.
Casos de uso de Instant Neural Graphics Primitives
- Campos de Radiancia Neuronal (NeRF)
- Imágenes Gigapixel
- Funciones de Distancia con Signo (SDF)
- Renderizado en Tiempo Real
- Renderizado Volumétrico
- Entrenamiento de Primitivas Gráficas
