설명
GET3D는 토론토 AI 랩과 NVIDIA에서 개발한 혁신적인 생성 모델로, 2D 이미지 데이터에서 직접 고품질 3D 텍스처 모양을 생성하도록 설계되었습니다. 게임, 가상 현실, 디지털 디자인과 같은 산업에서 확장 가능한 3D 콘텐츠 제작 도구에 대한 수요 증가에 부응하여, GET3D는 표준 3D 렌더링 엔진과 즉시 호환되는 텍스처 메쉬를 합성합니다. 이는 이전 3D 생성 모델에서 흔히 발견되는 신경 렌더러의 복잡성을 우회하여 일반적인 3D 소프트웨어에서 출력을 직접 사용할 수 있도록 합니다.
이 모델은 잠재 코드에서 파생된 3D 부호 거리 함수(SDF)와 텍스처 필드를 생성하여 작동합니다. DMTet이라는 미분 가능한 렌더러를 사용하여 SDF에서 3D 표면 메쉬를 추출합니다. 그런 다음 텍스처 필드를 표면 지점에서 쿼리하여 색상을 할당하여 고충실도 텍스처를 생성합니다. 학습은 2D 이미지에 정의된 적대적 손실을 통해 이루어지며, 실제와 가짜 RGB 이미지 및 실루엣을 분류하는 두 개의 판별자를 활용합니다. 이 종단 간 학습 가능한 접근 방식을 통해 GET3D는 방대한 2D 이미지 데이터셋에서 학습할 수 있습니다.
GET3D는 자동차, 의자, 동물, 오토바이, 인간 캐릭터, 건물 등 다양한 3D 에셋을 생성하는 데 탁월한 능력을 보여줍니다. 임의의 위상, 상세한 기하학 및 고충실도 텍스처를 가진 모양을 생성하는 데 뛰어나며, 이전 방법보다 훨씬 뛰어난 성능을 보입니다. 주요 특징은 기하학과 텍스처 간의 분리로, 모양과 외형을 독립적으로 조작할 수 있습니다. 또한 이 모델은 잠재 공간에서 의미 있는 보간을 지원하여 다른 모양과 텍스처 간의 부드러운 전환을 가능하게 하며, 약간의 국부적 변형을 가진 새로운 모양을 생성할 수 있습니다.
더 나아가 GET3D는 비지도 재질 생성과 같은 다른 기술과 결합될 수 있으며, 텍스트 기반 모양 생성에 맞게 조정될 수 있습니다. 렌더링된 2D 이미지와 사용자 제공 텍스트 프롬프트에 CLIP 손실을 사용하여 3D 생성기를 미세 조정함으로써, GET3D는 텍스트 설명에 기반한 의미 있는 모양을 생성할 수 있습니다. 이러한 다재다능함은 효율적이고 높은 시각적 품질로 광범위한 3D 에셋을 생성하려는 콘텐츠 제작자에게 강력한 도구가 됩니다.
GET3D 하이라이트
고품질 3D 텍스처 메쉬 생성
3D 렌더링 엔진에서 직접 사용 가능
임의의 위상을 가진 모양 합성
풍부한 기하학적 디테일 및 고충실도 텍스처 생성
2D 이미지 컬렉션에서 학습
기하학과 텍스처 간의 분리 달성
의미 있는 잠재 공간 보간 지원
변형을 가진 새로운 모양 생성 가능
텍스트 기반 모양 생성에 맞게 조정 가능
2D 이미지에 대한 적대적 손실을 사용하여 학습
미분 가능한 렌더러(DMTet) 활용
3D SDF 및 텍스처 필드 생성
GET3D 시작하기
모델 액세스: GET3D 모델 가중치 및 코드에 액세스합니다.
환경 설정: 필요한 소프트웨어 및 하드웨어 종속성을 구성합니다.
API를 통한 통합: 제공된 라이브러리 또는 API를 사용하여 모델과 상호 작용합니다.
3D 에셋 생성: 잠재 코드 또는 텍스트 프롬프트를 입력하여 3D 텍스처 메쉬를 합성합니다.
메쉬 추출: DMTet을 사용하여 생성된 SDF에서 표면 메쉬를 추출합니다.
텍스처 적용: 텍스처 필드를 쿼리하여 표면 지점 색상을 적용합니다.
다듬기 및 내보내기: 생성된 에셋을 후속 애플리케이션을 위해 추가로 처리하거나 내보냅니다.
GET3D의 사용 사례
- 3D 에셋 생성
- 가상 세계 콘텐츠
- 게임 개발
- AR/VR 경험
- 디지털 디자인
- 텍스트-투-3D 합성
- 위상 변형
