Descripción
Fish Audio Drama 3 es el último modelo de texto a voz de Fish Audio, específicamente diseñado para escenas con múltiples personajes y contenido de formato largo. Este modelo soporta generación de múltiples hablantes, clonación de voz y control en lenguaje natural, permitiendo a los usuarios crear producciones de audio dinámicas y atractivas. Con 35 mil millones de parámetros y 3 mil millones activos por token, utiliza una estructura de texto MoE con atención híbrida para ofrecer una síntesis de voz de alta calidad.
Leer más
El modelo cuenta con un decodificador de audio Codebook-MTP, que decodifica 10 libros de códigos de manera causal a lo largo de toda la secuencia, asegurando una salida de audio fluida y coherente. También emplea expertos MoE FP8 con los pesos restantes en bf16, optimizando el rendimiento y la eficiencia. Los usuarios pueden incorporar hasta 16 personajes diferentes en un solo texto utilizando etiquetas de hablante, proporcionando flexibilidad en la narración de audio.
Fish Audio Drama 3 divide automáticamente textos largos y los transmite por fragmentos, mejorando su usabilidad para guiones extensos. Se lanza con SGLang Omni, ofreciendo integración y despliegue sin problemas. El Drama 3 Cookbook proporciona instrucciones detalladas para la instalación, despliegue y uso de la API, haciéndolo accesible para desarrolladores y productores de audio.
Las métricas de rendimiento en GPUs NVIDIA H200 demuestran su eficiencia, con un rendimiento de hasta 1,687.3 fotogramas por segundo en altos niveles de concurrencia. El modelo mantiene un bajo tiempo hasta el primer audio (TTFA) y un factor de tiempo real (RTF) favorable, asegurando una generación de audio rápida y receptiva. El modelo está licenciado bajo la Licencia de Comunidad de Fish Audio, promoviendo el acceso abierto y la colaboración.
- CategoríaTexto a voz
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de Fish Audio Drama 3
Generación de múltiples hablantes
Clonación de voz
Control en lenguaje natural
35B parámetros
Estructura de texto MoE
Decodificador de audio Codebook-MTP
Expertos MoE FP8
División automática de texto
Primeros pasos con Fish Audio Drama 3
Acceder al modelo: Visitar Hugging Face
Autenticarse: Usar clave de API
Configurar el entorno: Seguir el Cookbook
Integrar a través de la API: Usar ejemplos proporcionados
Optimizar: Ajustar parámetros para rendimiento
Casos de uso de Fish Audio Drama 3
- Producciones de Audio
- Clonación de Voz
- Narrativas de Formato Largo
- Narración Interactiva
- Podcasting
