설명
GaussianObject는 최소 4개의 입력 이미지 세트에서 고품질 3D 객체 재구성을 생성하는 새로운 프레임워크를 제시합니다. 이 방법은 Gaussian splatting을 활용하여 3D 객체를 표현하고 렌더링하며, 인상적인 시각적 충실도를 달성합니다. 핵심 혁신은 COLMAP 없이도 효과적으로 작동하여 3D 재구성 작업의 진입 장벽을 크게 낮춘다는 것입니다.
더 읽기
프로세스는 시각적 외형 구성(visual hull construction) 및 부유물 제거(floater elimination)와 같은 기법으로 시작됩니다. 이러한 방법은 초기 최적화에 구조적 사전 정보(structural priors)를 주입하여 일관되고 거친 3D Gaussian 표현을 생성하는 데 도움을 줍니다. 이 초기 표현은 객체의 기본 모양과 구조를 포착합니다.
초기 재구성 후, 확산 모델을 기반으로 구축된 Gaussian 복구 모델(Gaussian repair model)이 사용됩니다. 이 모델은 누락된 객체 정보를 보충하고 기존 Gaussian을 추가로 개선하여 더 상세하고 정확한 최종 모델을 만듭니다. 이 복구 모델을 훈련하기 위한 적절한 이미지 쌍을 생성하기 위해 자체 생성 전략(self-generating strategy)이 활용되어 효과를 보장합니다.
GaussianObject는 4개의 뷰만 사용할 때 이전의 최첨단 방법과 비교하여 우수한 재구성 결과를 보여줍니다. 이 프레임워크는 표준 사용 및 COLMAP 없는 변형 모두에 대한 지침이 제공되어 적응 가능하도록 설계되었습니다. 이러한 유연성을 통해 사용자는 더 쉽게 임의의 캡처된 객체를 재구성할 수 있습니다.
이 프로젝트는 SIGGRAPH Asia 2024의 연구 기여로 발표되었으며, ACM Transactions on Graphics (TOG)에 게재되었습니다. 광범위한 다중 뷰 데이터나 정확한 카메라 포즈를 사용할 수 없는 시나리오에서 특히 효율적이고 고충실도의 3D 객체 재구성에 관심 있는 연구원 및 개발자에게 강력한 솔루션을 제공합니다.
- 카테고리3D 모델 생성기
- 요금제오픈소스
- 배포셀프 호스팅
- 플랫폼Linux
GaussianObject의 핵심 기능
4개의 뷰에서 고품질 3D 객체 재구성
표현 및 렌더링을 위해 Gaussian splatting 활용
COLMAP 없는 재구성 기능
개선을 위해 시각적 외형 및 확산 모델 결합
다중 뷰 일관성을 위한 구조적 사전 정보 주입
복구 모델 훈련을 위한 자체 생성 전략
제한된 뷰에서 이전 최첨단 방법 능가
표준 및 COLMAP 없는 사용을 위한 지침 제공
SIGGRAPH Asia 2024 (ACM TOG)에서 발표된 연구
GaussianObject 시작하기
리포지토리 복제: 하위 모듈을 포함하여 GaussianObject 리포지토리를 복제합니다.
환경 설정: PyTorch (CUDA 지원 포함)를 포함한 필수 Python 패키지를 설치합니다.
데이터 준비: 이미지 및 필요한 구성 파일로 데이터 세트를 구성하거나 Mip-NeRF360과 같은 제공된 데이터 세트를 사용합니다.
시각적 외형 생성: visual_hull.py 스크립트를 실행하여 초기 3D 표현을 생성합니다.
거친 3DGS 훈련: train_gs.py를 사용하여 거친 3D Gaussian 표현을 최적화합니다.
복구 모델로 개선: 상세한 재구성을 위해 Gaussian 복구 모델을 훈련하고 적용합니다.
결과 렌더링: render.py를 사용하여 최종 3D 객체 재구성을 시각화합니다.
GaussianObject의 사용 사례
- 3D 객체 재구성
- 에셋 생성
- 사진 측량 대안
- 컴퓨터 비전 연구
- 신속한 프로토타이핑
- 디지털 아카이빙
