Descripción
daVinci-MagiHuman es un modelo de IA de código abierto con 15 mil millones de parámetros que genera videos hablados con sincronización labial a partir de una sola foto. Subes un retrato, añades un guion o audio, y obtienes un clip hablado natural donde el audio y el video se generan juntos en lugar de ser ensamblados a partir de tuberías separadas. Fue desarrollado por Sand.ai y GAIR Lab (Universidad Jiao Tong de Shanghái) y se lanzó bajo la licencia Apache 2.0, por lo que los pesos pueden ser inspeccionados, ejecutados localmente y utilizados comercialmente dentro de la licencia.
Leer más
El modelo utiliza un Transformer de flujo único que desrueda conjuntamente los tokens de video y audio con una imagen de referencia latente, produciendo una salida de audio y video unificada a partir de una foto de rostro más texto o audio. En una sola GPU NVIDIA H100, puede generar un clip corto de 256p en aproximadamente dos segundos de tiempo real, y las evaluaciones publicadas informan tasas de error de palabra fuertes y alta preferencia humana en comparación con líneas base como Ovi 1.1 y LTX 2.3.
Los usuarios pueden probarlo a través de una demostración gratuita en línea, descargar los puntos de control desde Hugging Face, o clonar el repositorio de GitHub para autoalojarse y ejecutar inferencias con configuraciones personalizadas y resoluciones de hasta 1080p. Soporta múltiples idiomas para la sincronización labial dependiendo de los datos de entrenamiento publicados.
El servicio alojado ofrece un nivel gratuito con créditos iniciales y de registro diario (almacenamiento temporal de 15 días) más planes de créditos Básico, Pro y Máximo que añaden generación en HD, procesamiento prioritario, almacenamiento permanente de activos y derechos de uso comercial.
- CategoríaModelos de IA y LLM
- Modelo de preciosFreemium
- ImplementaciónNube, Autoalojado
- PlataformasWeb
Aspectos destacados de daVinci-MagiHuman
Generación de videos hablados con sincronización labial a partir de una sola foto
Audio y video unificados generados juntos en una sola pasada del modelo
Arquitectura Transformer de flujo único con 15B de parámetros
Código abierto bajo la licencia Apache 2.0
Inferencia rápida (~2s para un clip de ~2s 256p en un H100)
Sincronización labial multilingüe dependiendo de los datos de entrenamiento
Autoalojamiento a través de Hugging Face y GitHub, o una demostración en línea alojada
Resoluciones de salida de hasta 1080p
Primeros pasos con daVinci-MagiHuman
Sube un retrato: Añade una foto clara de un rostro de frente.
Añade un guion o audio: Ingresa texto o sube un archivo de audio para guiar el habla.
Elige la resolución: Selecciona una resolución de salida como 256p, 720p o 1080p.
Genera: Ejecuta el modelo para crear el clip con sincronización labial.
Descarga: Guarda el video hablado terminado, o autoalójate desde Hugging Face o GitHub.
Casos de uso de daVinci-MagiHuman
- Videos de avatares hablantes
- Generación autoalojada
- Doblaje multilingüe
- Investigación y evaluación comparativa
- Creación de contenido
