Description
daVinci-MagiHuman est un modèle d'IA open-source de 15 milliards de paramètres qui génère des vidéos parlantes synchronisées sur les lèvres à partir d'une seule photo. Vous téléchargez un portrait, ajoutez un script ou un audio, et obtenez un clip parlant naturel où l'audio et la vidéo sont générés ensemble plutôt que cousus à partir de pipelines séparés. Il a été développé par Sand.ai et le GAIR Lab (Université Jiao Tong de Shanghai) et est publié sous la licence Apache 2.0, ce qui permet d'inspecter les poids, de les exécuter localement et de les utiliser commercialement dans le cadre de la licence.
Lire la suite
Le modèle utilise un Transformer à flux unique qui débruite conjointement les tokens vidéo et audio avec une image de référence latente, produisant une sortie audio-vidéo unifiée à partir d'une photo de visage plus du texte ou de l'audio. Sur un GPU NVIDIA H100, il peut générer un court clip 256p en environ deux secondes de temps réel, et les évaluations publiées rapportent de forts taux d'erreur de mots et une haute préférence humaine par rapport à des références telles que Ovi 1.1 et LTX 2.3.
Les utilisateurs peuvent l'essayer via une démo en ligne gratuite, télécharger les checkpoints depuis Hugging Face, ou cloner le dépôt GitHub pour s'auto-héberger et exécuter des inférences avec des paramètres et des résolutions personnalisés allant jusqu'à 1080p. Il prend en charge plusieurs langues pour la synchronisation labiale en fonction des données d'entraînement publiées.
Le service hébergé propose un niveau gratuit avec des crédits de démarrage et de vérification quotidienne (stockage temporaire de 15 jours) ainsi que des plans de crédits Basic, Pro et Max qui ajoutent la génération HD, le traitement prioritaire, le stockage permanent d'actifs et des droits d'utilisation commerciale.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireFreemium
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Points forts de daVinci-MagiHuman
Génération de vidéos parlantes à partir d'une seule photo avec synchronisation labiale
Audio et vidéo unifiés générés ensemble en une seule passe du modèle
Architecture Transformer à flux unique de 15B paramètres
Open source sous la licence Apache 2.0
Inférence rapide (~2s pour un clip 256p d'environ 2s sur un H100)
Synchronisation labiale multilingue selon les données d'entraînement
Auto-hébergement via Hugging Face et GitHub, ou une démo en ligne hébergée
Résolutions de sortie allant jusqu'à 1080p
Premiers pas avec daVinci-MagiHuman
Téléchargez un portrait : Ajoutez une photo de visage claire et de face.
Ajoutez un script ou un audio : Entrez du texte ou téléchargez un fichier audio pour générer la parole.
Choisissez la résolution : Sélectionnez une résolution de sortie telle que 256p, 720p ou 1080p.
Générez : Exécutez le modèle pour créer le clip synchronisé sur les lèvres.
Téléchargez : Enregistrez la vidéo parlante terminée, ou auto-hébergez depuis Hugging Face ou GitHub.
Cas d'utilisation de daVinci-MagiHuman
- Vidéos d'avatar parlant
- Génération auto-hébergée
- Doublage multilingue
- Recherche et benchmarking
- Création de contenu
