Descrição
daVinci-MagiHuman é um modelo de IA de código aberto com 15 bilhões de parâmetros que gera vídeos falantes com sincronização labial a partir de uma única foto. Você faz o upload de um retrato, adiciona um roteiro ou áudio e obtém um clipe falante natural onde o áudio e o vídeo são gerados juntos, em vez de serem costurados a partir de pipelines separados. É desenvolvido pela Sand.ai e pelo GAIR Lab (Universidade Jiao Tong de Xangai) e lançado sob a licença Apache 2.0, permitindo que os pesos sejam inspecionados, executados localmente e utilizados comercialmente dentro dos termos da licença.
Ler mais
O modelo utiliza um Transformer de fluxo único que desruído conjuntamente os tokens de vídeo e áudio com uma imagem de referência latente, produzindo uma saída unificada de áudio e vídeo a partir de uma foto de rosto mais texto ou áudio. Em uma única GPU NVIDIA H100, ele pode gerar um clipe curto de 256p em cerca de dois segundos de tempo real, e avaliações publicadas relatam taxas de erro de palavras fortes e alta preferência humana em comparação com referências como Ovi 1.1 e LTX 2.3.
Os usuários podem experimentá-lo através de uma demonstração online gratuita, baixar os checkpoints do Hugging Face ou clonar o repositório do GitHub para auto-hospedar e executar inferência com configurações e resoluções personalizadas de até 1080p. Ele suporta múltiplas línguas para sincronização labial, dependendo dos dados de treinamento liberados.
O serviço hospedado oferece um nível gratuito com créditos iniciais e de check-in diário (armazenamento temporário de 15 dias), além de planos de crédito Básico, Pro e Max que adicionam geração em HD, processamento prioritário, armazenamento permanente de ativos e direitos de uso comercial.
- CategoriaModelos de IA e LLMs
- Modelo de preçosFreemium
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Destaques de daVinci-MagiHuman
Geração de vídeo falante a partir de uma única foto com sincronização labial
Áudio e vídeo unificados gerados juntos em uma única passagem do modelo
Arquitetura Transformer de fluxo único com 15 bilhões de parâmetros
Código aberto sob a licença Apache 2.0
Inferência rápida (~2s para um clipe de ~2s em 256p em um H100)
Sincronização labial multilíngue dependendo dos dados de treinamento
Auto-hospedagem via Hugging Face e GitHub, ou uma demonstração online hospedada
Resoluções de saída de até 1080p
Primeiros passos com daVinci-MagiHuman
Faça o upload de um retrato: Adicione uma foto clara de rosto voltado para frente.
Adicione um roteiro ou áudio: Insira texto ou faça o upload de um arquivo de áudio para conduzir a fala.
Escolha a resolução: Selecione uma resolução de saída como 256p, 720p ou 1080p.
Gere: Execute o modelo para criar o clipe com sincronização labial.
Baixe: Salve o vídeo falante final ou auto-hospede a partir do Hugging Face ou GitHub.
Casos de uso de daVinci-MagiHuman
- Vídeos de avatar falante
- Geração auto-hospedada
- Dublagem multilíngue
- Pesquisa e benchmarking
- Criação de conteúdo
