Descrição
PanoHead é um repositório de código para o artigo da CVPR 2023 intitulado "PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360 degree." Este projeto introduz um modelo generativo 3D-aware inovador, capaz de sintetizar imagens de alta qualidade e consistentes em visualização de cabeças humanas completas em um alcance de 360 graus. Ao contrário de métodos anteriores que são frequentemente limitados a visualizações quase frontais ou que lutam com a consistência 3D em grandes ângulos, PanoHead utiliza imagens não estruturadas e do mundo real para treinamento, preenchendo a lacuna de alinhamento de dados.
A inovação central reside em um processo de alinhamento de imagem auto-adaptativo de dois estágios, projetado para treinamento robusto de GANs 3D. Além disso, ele emprega uma representação de volume neural tri-grid para superar problemas de emaranhamento de características comuns em formulações tri-plano, particularmente para a frente e a parte de trás da cabeça. PanoHead integra conhecimento prévio de segmentação de imagem 2D no aprendizado adversarial de estruturas de cena neural 3D, facilitando a síntese de cabeça compósita contra vários fundos. Essa abordagem aprimora significativamente a geração de cabeças 3D com geometria precisa e aparências diversas, incluindo penteados complexos, renderizáveis a partir de poses arbitrárias.
Além da síntese, PanoHead demonstra a capacidade de reconstruir cabeças 3D completas a partir de imagens de entrada únicas, permitindo avatares 3D realistas personalizados. O repositório fornece código para gerar resultados como vídeos, imagens e formas 3D (arquivos .mrc), bem como scripts para reconstrução completa de cabeça a partir de imagens únicas e interpolações entre diferentes gerações de cabeça. Ele também inclui exemplos para treinar o modelo do zero ou ajustar redes pré-treinadas, juntamente com instruções para avaliar os resultados gerados usando métricas fornecidas.
O projeto é construído sobre a base de código EG3D e requer configurações específicas de hardware e software, incluindo Linux, GPUs NVIDIA de ponta, Python 3.8+, PyTorch 1.11.0+ e CUDA toolkit 11.3 ou posterior. O repositório inclui instruções detalhadas para configurar o ambiente, baixar modelos pré-treinados e executar vários scripts de geração e treinamento. Ele é apresentado como uma implementação de referência de pesquisa.
Recursos principais de PanoHead
Síntese 3D de cabeça completa em 360 graus
Modelo generativo consciente da geometria
Geração de imagem consistente em visualização
Treinamento com imagens do mundo real
Alinhamento de imagem auto-adaptativo de dois estágios
Representação de volume neural tri-grid
Integração de priors de segmentação de imagem 2D
Reconstrução 3D completa de cabeça a partir de imagens únicas
Geração de aparências diversas e geometria detalhada
Suporte para penteados complexos
Renderização em pose arbitrária
Código para geração de vídeos, imagens e formas 3D
Primeiros passos com PanoHead
Clonar repositório: Obtenha o código PanoHead do GitHub.
Instalar dependências: Configure o ambiente Python usando o arquivo environment.yml fornecido.
Baixar modelos: Adquira modelos de rede pré-treinados e coloque-os no diretório raiz.
Gerar resultados: Execute scripts Python para gerar vídeos, imagens ou formas 3D.
Reconstruir cabeças: Utilize os scripts fornecidos para reconstrução completa de cabeça a partir de imagens únicas.
Treinar modelo: Siga as instruções para treinar ou ajustar o modelo PanoHead.
Avaliar métricas: Execute scripts para avaliar a qualidade dos resultados gerados.
Casos de uso de PanoHead
- Síntese de Cabeça 3D
- Criação de Avatar
- Experimentação Virtual
- Pesquisa em Computação Gráfica
- Geração de Conteúdo
- Renderização Invariante à Pose
- Técnicas de Alinhamento de Dados
