Descripción
Audio8-TTS-Realistic-Air es un modelo avanzado de texto a voz (TTS) desarrollado por Edge0, disponible en Hugging Face. Basándose en el Audio8-TTS-Preview-0.6b, esta versión mejora significativamente el realismo del habla, ofreciendo una prosodia más natural y una entrega expresiva, mientras mantiene una arquitectura compacta de 0.6 mil millones de parámetros.
Leer más
El modelo cuenta con una cobertura multilingüe más amplia, soportando 23 idiomas. Esto incluye los 11 idiomas de la versión Preview (cantonés, chino, neerlandés, inglés, francés, alemán, italiano, japonés, coreano, polaco, español) y 12 nuevas adiciones (árabe, finlandés, hindi, indonesio, malayo, noruego, portugués, ruso, sueco, tailandés, turco, vietnamita). Utiliza la misma interfaz de inferencia de Transformers que su predecesor, lo que lo hace accesible para los desarrolladores.
Audio8-TTS-Realistic-Air incluye un punto de control completo del modelo, un códec de audio neural de 44.1 kHz, tokenizador, procesador y código personalizado de Transformers. Soporta generación flexible, ofreciendo tanto clonación de voz en cero disparos a partir de una grabación de referencia y su transcripción, como generación de habla sin una referencia. Los usuarios pueden experimentar con estas capacidades en un Playground interactivo alojado en Hugging Face ZeroGPU.
Para aplicaciones de alto rendimiento, el modelo cuenta con servicio GPU a través de un adaptador SGLang Omni. Este adaptador proporciona atención paginada, agrupamiento dinámico y una API de habla compatible con OpenAI, asegurando un despliegue eficiente y escalable. La arquitectura del modelo es un diseño DualAR, inspirado en Fish Audio S2 Pro, con un transformador AR lento que predice tokens semánticos y un transformador AR rápido que predice libros de códigos del códec.
La instalación requiere Python 3.10 o superior y una GPU compatible con CUDA. El modelo ha sido probado con PyTorch 2.8.0 y Transformers 4.57.3 en un NVIDIA H20, cubriendo diversas generaciones de idiomas y clonación de voz. El código y los pesos del modelo se publican bajo la Licencia Apache 2.0, promoviendo el acceso abierto y el uso responsable. Aunque la calidad varía según el idioma, el modelo representa un avance significativo en la síntesis de texto a voz realista y multilingüe.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de Audio8-TTS-Realistic-Air
Realismo del habla mejorado con prosodia natural y entrega expresiva
Cobertura multilingüe más amplia que soporta 23 idiomas
Arquitectura de modelo compacta con 601 millones de parámetros del modelo principal
Clonación de voz en cero disparos a partir de audio de referencia y transcripción
Generación de habla sin una grabación de referencia
Servicio GPU con adaptador SGLang Omni para alto rendimiento
Soporte de API de habla compatible con OpenAI /v1/audio/speech
Arquitectura DualAR para procesamiento de audio avanzado
Códec de audio neural de 44.1 kHz incluido
Incluye tokenizador, procesador y código personalizado de Transformers
Soporta agrupamiento dinámico y atención paginada
Licencia Apache 2.0 para código y pesos del modelo
Playground interactivo para probar la generación de habla y clonación de voz
Primeros pasos con Audio8-TTS-Realistic-Air
Acceder al Modelo: Navegar a la página Edge0/Audio8-TTS-Realistic-Air en Hugging Face.
Configurar el Entorno: Asegurarse de que Python 3.10+ y una GPU compatible con CUDA estén instalados.
Cargar el Modelo: Cargar el modelo utilizando código personalizado de Transformers con `trust_remote_code=True`.
Generar Habla: Usar el procesador para preparar entradas para la generación de habla.
Realizar Clonación de Voz: Proporcionar una grabación de referencia limpia y su transcripción exacta para la clonación de voz en cero disparos.
Ejecutar Inferencia: Mover las entradas al dispositivo del modelo y ejecutar los pasos de generación y decodificación.
Desplegar para Servicio: Utilizar el adaptador SGLang Omni para servicio GPU de alto rendimiento con una API compatible con OpenAI.
Casos de uso de Audio8-TTS-Realistic-Air
- Generación de Habla Realista
- Creación de Contenido Multilingüe
- Clonación de Voz en Cero Disparos
- Aplicaciones de Voz Interactivas
- Servicio de Audio de Alto Rendimiento
- Investigación y Desarrollo








