설명
PanoHead는 "PanoHead: 360도 전방향에서 기하학적으로 인식하는 3D 전체 머리 합성"이라는 제목의 CVPR 2023 논문을 위한 코드 저장소입니다. 이 프로젝트는 360도 범위에 걸쳐 전체 인간 머리의 고품질, 시점 일관적인 이미지를 합성할 수 있는 새로운 3D 인식 생성 모델을 소개합니다. 종종 전면 시점에 국한되거나 큰 각도에서 3D 일관성에 어려움을 겪는 이전 방법들과 달리, PanoHead는 실제의 구조화되지 않은 이미지를 훈련에 활용하여 데이터 정렬 격차를 해소합니다.
핵심 혁신은 강력한 3D GAN 훈련을 위해 설계된 2단계 자체 적응형 이미지 정렬 프로세스에 있습니다. 또한, 삼면 평면 공식에서 흔히 발생하는 특징 얽힘 문제를 극복하기 위해 삼중 격자 신경 볼륨 표현을 사용하며, 특히 머리의 앞면과 뒷면에 효과적입니다. PanoHead는 2D 이미지 분할의 사전 지식을 3D 신경 장면 구조의 적대적 학습에 통합하여 다양한 배경에 대해 합성 가능한 머리 합성을 촉진합니다. 이 접근 방식은 복잡한 헤어스타일을 포함하여 정확한 기하학적 구조와 다양한 외형을 가진 3D 머리 생성을 크게 향상시키며, 임의의 포즈에서 렌더링할 수 있습니다.
합성 외에도 PanoHead는 단일 입력 이미지에서 전체 3D 머리를 재구성하는 기능을 시연하여 개인화된 사실적인 3D 아바타를 가능하게 합니다. 이 저장소는 비디오, 이미지 및 3D 모양(.mrc 파일) 생성에 대한 코드를 제공하며, 단일 이미지에서 전체 머리 재구성 및 다른 머리 생성 간의 보간을 위한 스크립트도 포함합니다. 또한 처음부터 모델을 훈련하거나 사전 훈련된 네트워크를 미세 조정하기 위한 예제와 제공된 지표를 사용하여 생성된 결과를 평가하기 위한 지침도 포함합니다.
이 프로젝트는 EG3D 코드베이스를 기반으로 구축되었으며 Linux, 고급 NVIDIA GPU, Python 3.8 이상, PyTorch 1.11.0 이상 및 CUDA 툴킷 11.3 이상과 같은 특정 하드웨어 및 소프트웨어 구성이 필요합니다. 이 저장소에는 환경 설정, 사전 훈련된 모델 다운로드 및 다양한 생성 및 훈련 스크립트 실행에 대한 자세한 지침이 포함되어 있습니다. 연구 참조 구현으로 제공됩니다.
PanoHead의 핵심 기능
360도 3D 전체 머리 합성
기하학적으로 인식하는 생성 모델
시점 일관적인 이미지 생성
실제 이미지로 훈련
2단계 자체 적응형 이미지 정렬
삼중 격자 신경 볼륨 표현
2D 이미지 분할 사전 지식 통합
단일 이미지에서 전체 3D 머리 재구성
다양한 외형 및 상세한 기하학적 구조 생성
복잡한 헤어스타일 지원
임의 포즈 렌더링
비디오, 이미지 및 3D 모양 생성 코드
PanoHead 시작하기
저장소 복제: GitHub에서 PanoHead 코드를 가져옵니다.
종속성 설치: 제공된 environment.yml 파일을 사용하여 Python 환경을 설정합니다.
모델 다운로드: 사전 훈련된 네트워크 모델을 다운로드하여 루트 디렉토리에 배치합니다.
결과 생성: 비디오, 이미지 또는 3D 모양을 생성하기 위한 Python 스크립트를 실행합니다.
머리 재구성: 단일 이미지에서 전체 머리 재구성을 위한 제공된 스크립트를 활용합니다.
모델 훈련: PanoHead 모델을 훈련하거나 미세 조정하기 위한 지침을 따릅니다.
지표 평가: 생성된 출력의 품질을 평가하기 위한 스크립트를 실행합니다.
PanoHead의 사용 사례
- 3D 머리 합성
- 아바타 생성
- 가상 착용
- 컴퓨터 그래픽스 연구
- 콘텐츠 생성
- 포즈 불변 렌더링
- 데이터 정렬 기법
