描述
PanoHead 是 CVPR 2023 论文《PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360 degree》的代码库。该项目引入了一种新颖的 3D 感知生成模型，能够跨越 360 度范围合成高质量、视图一致的全人头图像。与以往通常仅限于近乎正面视图或在大角度下难以保持 3D 一致性的方法不同，PanoHead 使用真实世界的非结构化图像进行训练，弥合了数据对齐的差距。
其核心创新在于一个两阶段的自适应图像对齐过程，专为鲁棒的 3D GAN 训练而设计。此外，它采用三网格（tri-grid）神经体积表示来克服三平面（tri-plane）公式中常见的特征纠缠问题，尤其是在头部的前部和后部。PanoHead 将来自 2D 图像分割的先验知识整合到 3D 神经场景结构的对抗性学习中，从而能够将头部合成为各种背景。这种方法显著增强了具有精确几何形状和多样化外观（包括复杂发型）的 3D 头部的生成能力，并可从任意姿势进行渲染。
除了合成，PanoHead 还展示了从单张输入图像重建完整 3D 头部的能力，从而实现个性化的逼真 3D 头像。该代码库提供了生成视频、图像和 3D 模型（.mrc 文件）的结果代码，以及从单张图像进行全头部重建和不同头部生成之间插值的脚本。它还包括从头开始训练模型或微调预训练网络的示例，以及使用提供的指标评估生成结果的说明。
该项目基于 EG3D 代码库构建，需要特定的硬件和软件配置，包括 Linux、高端 NVIDIA GPU、Python 3.8+、PyTorch 1.11.0+ 以及 CUDA toolkit 11.3 或更高版本。代码库包含设置环境、下载预训练模型以及运行各种生成和训练脚本的详细说明。它被呈现为一个研究参考实现。
PanoHead的核心功能
360 度 3D 全头部合成
几何感知生成模型
视图一致的图像生成
使用真实世界图像进行训练
两阶段自适应图像对齐
三网格神经体积表示
整合 2D 图像分割先验
从单张图像重建完整 3D 头部
生成多样的外观和详细的几何形状
支持复杂发型
任意姿势渲染
用于生成视频、图像和 3D 形状的代码
PanoHead入门
克隆代码库：从 GitHub 获取 PanoHead 代码。
安装依赖项：使用提供的 environment.yml 文件设置 Python 环境。
下载模型：获取预训练的网络模型并将其放置在根目录。
生成结果：执行 Python 脚本以生成视频、图像或 3D 形状。
重建头部：使用提供的脚本从单张图像进行全头部重建。
训练模型：按照说明训练或微调 PanoHead 模型。
评估指标：运行脚本以评估生成输出的质量。
PanoHead的使用案例
- 3D 头部合成
- 头像创建
- 虚拟试穿
- 计算机图形学研究
- 内容生成
- 姿势不变渲染
- 数据对齐技术
