Descrição
Audio8-TTS-Realistic-Air é um modelo avançado de texto-para-fala (TTS) desenvolvido pela Edge0, disponível no Hugging Face. Baseando-se no Audio8-TTS-Preview-0.6b, este lançamento melhora significativamente o realismo da fala, proporcionando uma prosódia mais natural e uma entrega expressiva, enquanto mantém uma arquitetura compacta de 0,6 bilhões de parâmetros.
Ler mais
O modelo possui uma cobertura multilíngue mais ampla, suportando 23 idiomas. Isso inclui os 11 idiomas da versão Preview (Cantonês, Chinês, Holandês, Inglês, Francês, Alemão, Italiano, Japonês, Coreano, Polonês, Espanhol) e 12 novas adições (Árabe, Finlandês, Hindi, Indonésio, Malaio, Norueguês, Português, Russo, Sueco, Tailandês, Turco, Vietnamita). Ele utiliza a mesma interface de inferência de Transformers que seu antecessor, tornando-o acessível para desenvolvedores.
Audio8-TTS-Realistic-Air inclui um ponto de verificação completo do modelo, um codec de áudio neural de 44,1 kHz, tokenizador, processador e código personalizado de Transformers. Suporta geração flexível, oferecendo tanto clonagem de voz zero-shot a partir de uma gravação de referência e transcrição, quanto geração de fala sem uma referência. Os usuários podem experimentar essas capacidades em um Playground interativo hospedado no Hugging Face ZeroGPU.
Para aplicações de alto rendimento, o modelo apresenta atendimento de GPU via um adaptador SGLang Omni. Este adaptador fornece atenção paginada, agrupamento dinâmico e uma API de fala compatível com OpenAI, garantindo uma implantação eficiente e escalável. A arquitetura do modelo é um design DualAR, inspirado no Fish Audio S2 Pro, com um transformador AR lento prevendo tokens semânticos e um transformador AR rápido prevendo livros de códigos do codec.
A instalação requer Python 3.10 ou mais recente e uma GPU compatível com CUDA. O modelo foi testado com PyTorch 2.8.0 e Transformers 4.57.3 em um NVIDIA H20, cobrindo várias gerações de idiomas e clonagem de voz. O código e os pesos do modelo são lançados sob a Licença Apache 2.0, promovendo acesso aberto e uso responsável. Embora a qualidade varie por idioma, o modelo representa um avanço significativo na síntese de texto-para-fala realista e multilíngue.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Audio8-TTS-Realistic-Air
Realismo de fala aprimorado com prosódia natural e entrega expressiva
Cobertura multilíngue mais ampla suportando 23 idiomas
Arquitetura de modelo compacta com 601 milhões de parâmetros do modelo principal
Clonagem de voz zero-shot a partir de áudio de referência e transcrição
Geração de fala sem uma gravação de referência
Atendimento de GPU com adaptador SGLang Omni para alto rendimento
Suporte à API de fala compatível com OpenAI /v1/audio/speech
Arquitetura DualAR para processamento avançado de áudio
Codec de áudio neural de 44,1 kHz incluído
Inclui tokenizador, processador e código personalizado de Transformers
Suporta agrupamento dinâmico e atenção paginada
Licença Apache 2.0 para código e pesos do modelo
Playground interativo para testar geração de fala e clonagem de voz
Primeiros passos com Audio8-TTS-Realistic-Air
Acessar Modelo: Navegue até a página Edge0/Audio8-TTS-Realistic-Air no Hugging Face.
Configurar Ambiente: Certifique-se de que Python 3.10+ e uma GPU compatível com CUDA estão instalados.
Carregar Modelo: Carregue o modelo usando código personalizado de Transformers com `trust_remote_code=True`.
Gerar Fala: Use o processador para preparar entradas para geração de fala.
Realizar Clonagem de Voz: Forneça uma gravação de referência limpa e sua transcrição exata para clonagem de voz zero-shot.
Executar Inferência: Mova as entradas para o dispositivo do modelo e execute os passos de geração e decodificação.
Implantar para Atendimento: Utilize o adaptador SGLang Omni para atendimento de GPU de alto rendimento com uma API compatível com OpenAI.
Casos de uso de Audio8-TTS-Realistic-Air
- Geração de Fala Realista
- Criação de Conteúdo Multilíngue
- Clonagem de Voz Zero-Shot
- Aplicações de Voz Interativas
- Atendimento de Áudio de Alto Rendimento
- Pesquisa e Desenvolvimento








