Описание
Мгновенные нейронные графические примитивы с многоуровневым хешированным кодированием представляют новый подход к ускорению обучения и оценки нейронных графических примитивов. Традиционно эти примитивы, параметризованные полносвязными нейронными сетями, могут быть вычислительно затратными. Этот новый метод кодирования значительно снижает эти затраты, позволяя использовать меньшие нейронные сети без ущерба для качества. Основная инновация заключается в дополнении небольшой нейронной сети многоуровневой хеш-таблицей обучаемых векторов признаков.
Читать далее
Эти векторы признаков оптимизируются с помощью стохастического градиентного спуска. Многоуровневая структура хеш-таблицы имеет решающее значение, поскольку она позволяет сети эффективно разрешать коллизии хешей. Это приводит к простой, но мощной архитектуре, которая хорошо параллелизуется на современных GPU. Система использует эту параллельность через полностью скомбинированные CUDA-ядра, тщательно разработанные для минимизации потерь пропускной способности и вычислительных операций. Эта оптимизация приводит к ускорению на несколько порядков, позволяя обучать высококачественные нейронные графические примитивы за секунды и рендерить их за миллисекунды при разрешении 1920x1080.
Кодирование не зависит от задачи, что означает, что одна и та же реализация и гиперпараметры могут использоваться в различных приложениях, при этом размер хеш-таблицы настраивается для баланса качества и производительности. Эта универсальность делает его применимым для различных задач, таких как представление гигапиксельных изображений, изучение функций знакового расстояния (SDF) в 3D-пространстве, реконструкция объемных полей излучения и плотности для NeRF (Neural Radiance Fields) и прямое изучение шумоподавленных полей излучения и плотности из объемного трассировки путей. Преимущества мгновенного обучения, высокого качества и простоты архитектуры последовательно демонстрируются в этих приложениях.
Эта технология была отмечена наградой SIGGRAPH Best Paper Award в 2022 году и вошла в список лучших изобретений 2022 года по версии TIME. Сопутствующий код доступен на GitHub, что способствует его внедрению и дальнейшему развитию исследователями и практиками в области компьютерной графики и ИИ. Статья была первоначально опубликована на arXiv в январе 2022 года и впоследствии принята к публикации в ACM Transactions on Graphics для SIGGRAPH 2022.
- КатегорияГенераторы 3D-моделей
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыWindows, Linux
Главное о Мгновенные нейронные графические примитивы
Почти мгновенное обучение нейронных графических примитивов на одном GPU
Многоуровневое хешированное кодирование для нейронных сетей
Снижение вычислительных затрат и операций доступа к памяти
Позволяет использовать меньшие нейронные сети без потери качества
Независимое от задачи кодирование, применимое к различным графическим задачам
Высококачественные результаты для гигапиксельных изображений, NeRF и SDF
Оптимизировано для параллелизма GPU с полностью скомбинированными CUDA-ядрами
Значительное ускорение (на порядки) обучения и рендеринга
Достигает рендеринга в реальном времени при разрешении 1920x1080
Простая архитектура с тривиальной параллелизацией
Адаптивный размер хеш-таблицы для компромисса между качеством и производительностью
Начало работы с Мгновенные нейронные графические примитивы
Доступ к модели: Загрузите или клонируйте код из предоставленного репозитория GitHub.
Настройка среды: Установите необходимые зависимости и набор инструментов CUDA согласно документации.
Интеграция кодирования: Реализуйте многоуровневое хешированное кодирование в вашей архитектуре нейронной сети.
Обучение примитивов: Используйте предоставленные скрипты обучения для таких задач, как NeRF, SDF или представление изображений.
Оптимизация гиперпараметров: Настройте размер хеш-таблицы и параметры сети для достижения желаемого качества и скорости.
Рендеринг результатов: Используйте оптимизированную модель для высокоскоростного рендеринга графических примитивов.
Варианты использования Мгновенные нейронные графические примитивы
- Нейронные поля излучения
- Гигапиксельные изображения
- Функции знакового расстояния
- Рендеринг в реальном времени
- Объемный рендеринг
- Обучение графических примитивов
