Descrição
Fish Audio Drama 3 é o mais recente modelo de texto-para-fala da Fish Audio, especificamente projetado para cenas com múltiplos personagens e conteúdo de longa duração. Este modelo suporta geração de múltiplos falantes, clonagem de voz e controle em linguagem natural, permitindo que os usuários criem produções de áudio dinâmicas e envolventes. Com 35 bilhões de parâmetros e 3 bilhões ativos por token, ele utiliza uma estrutura de texto MoE com atenção híbrida para fornecer síntese de fala de alta qualidade.
Ler mais
O modelo apresenta um decodificador de áudio Codebook-MTP, que decodifica 10 codebooks de forma causal ao longo de toda a sequência, garantindo uma saída de áudio suave e coerente. Ele também emprega especialistas MoE FP8 com os pesos restantes em bf16, otimizando desempenho e eficiência. Os usuários podem incorporar até 16 personagens diferentes em um único texto usando tags de falante, proporcionando flexibilidade na narrativa de áudio.
Fish Audio Drama 3 automaticamente divide textos longos e os transmite por partes, melhorando sua usabilidade para roteiros extensos. Ele é lançado com SGLang Omni, oferecendo integração e implantação sem costura. O Drama 3 Cookbook fornece instruções detalhadas para instalação, implantação e uso da API, tornando-o acessível para desenvolvedores e produtores de áudio.
Métricas de desempenho em GPUs NVIDIA H200 demonstram sua eficiência, com uma taxa de transferência de até 1.687,3 quadros por segundo em altos níveis de concorrência. O modelo mantém um baixo tempo até o primeiro áudio (TTFA) e um fator de tempo real (RTF) favorável, garantindo geração de áudio rápida e responsiva. O modelo é licenciado sob a Licença da Comunidade Fish Audio, promovendo acesso aberto e colaboração.
- CategoriaTexto para voz
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Fish Audio Drama 3
Geração de múltiplos falantes
Clonagem de voz
Controle em linguagem natural
35B parâmetros
Estrutura de texto MoE
Decodificador de áudio Codebook-MTP
Especialistas MoE FP8
Divisão automática de texto
Primeiros passos com Fish Audio Drama 3
Acessar o modelo: Visite Hugging Face
Autenticar: Use a chave da API
Configurar o ambiente: Siga o Cookbook
Integrar via API: Use os exemplos fornecidos
Otimizar: Ajuste os parâmetros para desempenho
Casos de uso de Fish Audio Drama 3
- Produções de Áudio
- Clonagem de Voz
- Narrativas de Longa Duração
- Narrativa Interativa
- Podcasting
