DreamTalk

Descrição

DreamTalk é uma implementação oficial de um framework de geração de cabeças falantes expressivas, impulsionado por áudio e baseado em difusão. Esta ferramenta foi projetada para produzir vídeos de cabeças falantes de alta qualidade que refletem com precisão diversos estilos de fala e emoções. Sua capacidade principal reside em seu desempenho robusto em uma ampla gama de entradas, incluindo fala padrão, músicas, áudio multilíngue e até mesmo sinais de áudio ruidosos. Além disso, o DreamTalk demonstra resiliência ao processar retratos fora de domínio, tornando-o uma solução versátil para várias aplicações.

O framework utiliza modelos probabilísticos de difusão para alcançar sua geração de vídeo expressiva e realista. Os usuários podem instalar o projeto usando conda e pip, seguindo requisitos de versão específicos para PyTorch, torchvision, torchaudio e outras dependências. O processo de instalação envolve a criação de um ambiente conda dedicado e, em seguida, a instalação dos pacotes necessários a partir de um arquivo de requisitos.

Para usuários interessados em obter os checkpoints pré-treinados, o acesso para download público foi encerrado devido a considerações de impacto social. Partes interessadas devem solicitar os checkpoints por e-mail, consentindo explicitamente com seu uso exclusivamente para fins de pesquisa acadêmica. Uma vez obtidos, os checkpoints devem ser colocados na pasta designada 'checkpoints'.

A inferência com DreamTalk envolve a execução de um script Python com vários parâmetros chave. Estes incluem caminhos para o arquivo de áudio de entrada (suportando vários formatos como wav, mp3, m4a e mp4), um clipe de estilo de referência, uma sequência de pose de cabeça e a imagem de retrato de entrada. Parâmetros adicionais como 'cfg_scale' controlam a intensidade dos estilos de fala, enquanto 'max_gen_len' define a duração máxima da geração de vídeo. O vídeo de saída é salvo na pasta 'output_video', com resultados intermediários em uma pasta temporária.

DreamTalk também oferece soluções ad-hoc para melhorar a resolução do vídeo. Dois métodos são sugeridos: CodeFormer para resolução de até 1024x1024, embora seja mais lento e possa ter problemas de inconsistência temporal, e o Modelo de Super-Resolução Temporal do MetaPortrait para resolução de 512x512 com desempenho mais rápido e coerência temporal, embora possa reduzir a intensidade da emoção facial. O projeto reconhece e se baseia em trabalhos anteriores na área, citando pesquisas relevantes e fornecendo uma entrada de citação para uso acadêmico.

Recursos principais de DreamTalk

• Geração de cabeças falantes expressivas impulsionada por áudio e baseada em difusão

• Saída de vídeo de alta qualidade com diversos estilos de fala

• Desempenho robusto com várias entradas de áudio (fala, músicas, áudio ruidoso)

• Lida com retratos fora de domínio

• Suporta múltiplos idiomas

• Fornece código de implementação oficial

• Inclui script de inferência para geração de vídeo

• Oferece soluções ad-hoc para aprimoramento de resolução (CodeFormer, MetaPortrait)

• Parâmetros ajustáveis para intensidade de estilo e duração da geração

• Suporta inferência em CPU

Primeiros passos com DreamTalk

1. 1

   Clonar: Clone o repositório DreamTalk do GitHub.

2. 2

   Instalar dependências: Crie um ambiente conda e instale os pacotes necessários usando o requirements.txt fornecido.

3. 3

   Baixar Checkpoints: Solicite os checkpoints por e-mail para pesquisa acadêmica e coloque-os na pasta 'checkpoints'.

4. 4

   Preparar Entradas: Reúna áudio de entrada, clipes de estilo de referência, sequências de pose de cabeça e imagens de retrato.

5. 5

   Configurar Inferência: Especifique os caminhos de entrada e parâmetros como cfg_scale e max_gen_len no script de inferência.

6. 6

   Executar Inferência: Execute o script de inferência (por exemplo, python inference_for_demo_video.py) para gerar vídeos de cabeças falantes.

7. 7

   Melhorar Resolução (Opcional): Aplique CodeFormer ou MetaPortrait para resolução de vídeo aprimorada.

8. 8

   Utilizar para Pesquisa: Empregue os vídeos gerados para fins de pesquisa acadêmica.

Casos de uso de DreamTalk

• Geração Expressiva de Cabeças Falantes
• Síntese Audiovisual
• Pesquisa em Animação por IA
• Cabeças Falantes Cross-linguais
• Transferência de Estilo para Rostos
• Lidando com Áudio Ruidoso

Perguntas frequentes de DreamTalk

• O que é DreamTalk?

  DreamTalk é uma implementação oficial de um framework baseado em difusão para gerar vídeos expressivos de cabeças falantes a partir de áudio, projetado para pesquisa acadêmica.

• Que tipo de entradas de áudio o DreamTalk suporta?

  DreamTalk suporta uma gama diversificada de entradas de áudio, incluindo fala em vários idiomas, músicas e áudio ruidoso.

• O DreamTalk pode gerar cabeças falantes a partir de qualquer imagem de retrato?

  Sim, o DreamTalk exibe desempenho robusto com entradas diversas, incluindo retratos fora de domínio, embora retratos frontais com rostos voltados diretamente para a frente geralmente produzam melhores resultados.

• Como posso instalar o DreamTalk?

  A instalação envolve a criação de um ambiente conda, sua ativação e, em seguida, a instalação de dependências usando pip install -r requirements.txt, juntamente com versões específicas do PyTorch e outras bibliotecas.

• Como obtenho os checkpoints pré-treinados para DreamTalk?

  O acesso para download público aos checkpoints foi encerrado. Você deve solicitá-los por e-mail para mayf18@mails.tsinghua.edu.cn, concordando em usá-los exclusivamente para pesquisa acadêmica.

• Quais parâmetros são importantes para executar o script de inferência?

  Parâmetros chave incluem caminhos para áudio, clipe de estilo, pose e imagem de origem, bem como 'cfg_scale' para intensidade de estilo e 'max_gen_len' para duração do vídeo.

• O DreamTalk pode ser executado em uma CPU?

  Sim, você pode executar o DreamTalk em uma CPU adicionando o argumento '--device=cpu' à linha de comando.

• Quais são as opções para melhorar a resolução de vídeos gerados?

  Soluções ad-hoc incluem o uso de CodeFormer para resolução de até 1024x1024 ou o Modelo de Super-Resolução Temporal do MetaPortrait para resolução de 512x512.

• Qual é o uso pretendido do DreamTalk?

  Este método destina-se APENAS PARA PESQUISA/USO NÃO COMERCIAL.

• Onde posso encontrar exemplos de entradas para DreamTalk?

  Exemplos de entradas são fornecidos na pasta 'data' dentro do repositório, embora músicas específicas usadas nos exemplos não possam ser incluídas devido a direitos autorais.