설명
다중 해상도 해시 인코딩을 사용한 Instant Neural Graphics Primitives는 신경 그래픽 프리미티브의 학습 및 평가를 가속화하는 새로운 접근 방식을 제시합니다. 전통적으로 완전 연결 신경망으로 매개변수화되는 이러한 프리미티브는 계산 비용이 많이 들 수 있습니다. 이 새로운 인코딩 방법은 품질을 저하시키지 않으면서 더 작은 신경망을 사용할 수 있도록 하여 이러한 비용을 크게 줄입니다. 핵심 혁신은 작은 신경망에 학습 가능한 특징 벡터의 다중 해상도 해시 테이블을 추가하는 것입니다.
더 읽기
이러한 특징 벡터는 확률적 경사 하강법을 통해 최적화됩니다. 해시 테이블의 다중 해상도 구조는 네트워크가 해시 충돌을 효과적으로 모호하게 할 수 있도록 하기 때문에 중요합니다. 이는 현대 GPU에서 고도로 병렬화 가능한 간단하면서도 강력한 아키텍처로 이어집니다. 이 시스템은 낭비되는 대역폭과 계산 작업을 최소화하도록 세심하게 설계된 완전 융합 CUDA 커널을 통해 이러한 병렬성을 활용합니다. 이러한 최적화는 수십 배의 속도 향상을 가져와 초당 고품질 신경 그래픽 프리미티브를 학습하고 1920x1080과 같은 해상도에서 밀리초 단위로 렌더링할 수 있게 합니다.
이 인코딩은 작업에 독립적이므로 동일한 구현과 하이퍼파라미터를 다양한 응용 프로그램에서 사용할 수 있으며, 품질과 성능의 균형을 맞추기 위해 해시 테이블 크기만 조정하면 됩니다. 이러한 다재다능함 덕분에 기가픽셀 이미지 표현, 3D 공간에서 부호 있는 거리 함수(SDF) 학습, NeRF(Neural Radiance Fields)의 체적 복사 및 밀도 필드 재구성, 체적 경로 추적에서 직접 노이즈 제거된 복사 및 밀도 필드 학습과 같은 다양한 작업에 적용할 수 있습니다. 즉각적인 학습, 높은 품질 및 아키텍처 단순성의 이점은 이러한 응용 프로그램 전반에 걸쳐 일관되게 입증됩니다.
이 기술은 2022년 SIGGRAPH 최우수 논문상을 수상했으며 TIME의 2022년 최고의 발명품에 선정되었습니다. 관련 코드는 GitHub에서 사용할 수 있어 컴퓨터 그래픽 및 AI 분야의 연구원과 실무자가 채택하고 추가 개발하는 데 도움이 됩니다. 이 논문은 2022년 1월 arXiv에 처음 공개되었으며 이후 ACM Transactions on Graphics에 SIGGRAPH 2022로 게재되었습니다.
- 카테고리3D 모델 생성기
- 요금제오픈소스
- 배포클라우드
- 플랫폼Windows, Linux
Instant Neural Graphics Primitives 하이라이트
단일 GPU에서 신경 그래픽 프리미티브의 거의 즉각적인 학습
신경망을 위한 다중 해상도 해시 인코딩
계산 비용 및 메모리 액세스 작업 감소
품질 저하 없이 더 작은 신경망 사용 가능
다양한 그래픽 작업에 적용 가능한 작업 독립적 인코딩
기가픽셀 이미지, NeRF 및 SDF에 대한 고품질 결과
완전 융합 CUDA 커널을 사용한 GPU 병렬화에 최적화
학습 및 렌더링에서 수십 배의 상당한 속도 향상
1920x1080 해상도에서 실시간 렌더링 달성
사소한 병렬화가 가능한 간단한 아키텍처
품질/성능 트레이드오프를 위한 적응형 해시 테이블 크기
Instant Neural Graphics Primitives 시작하기
모델 액세스: 제공된 GitHub 리포지토리에서 코드를 다운로드하거나 복제합니다.
환경 설정: 설명서에 따라 필요한 종속성 및 CUDA 툴킷을 설치합니다.
인코딩 통합: 신경망 아키텍처 내에 다중 해상도 해시 인코딩을 구현합니다.
프리미티브 학습: NeRF, SDF 또는 이미지 표현과 같은 작업에 대해 제공된 학습 스크립트를 활용합니다.
하이퍼파라미터 최적화: 원하는 품질과 속도를 위해 해시 테이블 크기 및 네트워크 매개변수를 조정합니다.
결과 렌더링: 최적화된 모델을 사용하여 그래픽 프리미티브를 고속으로 렌더링합니다.
Instant Neural Graphics Primitives의 사용 사례
- 신경 복사 필드
- 기가픽셀 이미지
- 부호 있는 거리 함수
- 실시간 렌더링
- 체적 렌더링
- 그래픽 프리미티브 학습
