Description
Fish Audio Drama 3 est le dernier modèle de synthèse vocale de Fish Audio, spécialement conçu pour des scènes à plusieurs personnages et du contenu long. Ce modèle prend en charge la génération multi-locuteurs, le clonage vocal et le contrôle en langage naturel, permettant aux utilisateurs de créer des productions audio dynamiques et engageantes. Avec 35 milliards de paramètres et 3 milliards actifs par jeton, il utilise une architecture de texte MoE avec attention hybride pour offrir une synthèse vocale de haute qualité.
Lire la suite
Le modèle dispose d'un décodeur audio Codebook-MTP, qui décode 10 codebooks de manière causale sur l'ensemble de la séquence, garantissant une sortie audio fluide et cohérente. Il emploie également des experts MoE FP8 avec les poids restants en bf16, optimisant ainsi les performances et l'efficacité. Les utilisateurs peuvent incorporer jusqu'à 16 personnages différents dans un seul texte en utilisant des balises de locuteur, offrant une flexibilité dans la narration audio.
Fish Audio Drama 3 segmente automatiquement les longs textes et les diffuse par segment, améliorant ainsi son utilisation pour des scripts longs. Il est lancé avec SGLang Omni, offrant une intégration et un déploiement sans faille. Le Cookbook Drama 3 fournit des instructions détaillées pour l'installation, le déploiement et l'utilisation de l'API, le rendant accessible aux développeurs et aux producteurs audio.
Les métriques de performance sur les GPU NVIDIA H200 démontrent son efficacité, avec un débit allant jusqu'à 1 687,3 images par seconde à des niveaux de concurrence élevés. Le modèle maintient un faible temps avant la première audio (TTFA) et un facteur temps réel (RTF) favorable, garantissant une génération audio rapide et réactive. Le modèle est sous licence de la Fish Audio Community License, promouvant l'accès ouvert et la collaboration.
- CatégorieSynthèse vocale
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de Fish Audio Drama 3
Génération multi-locuteurs
Clonage vocal
Contrôle en langage naturel
35B paramètres
Architecture de texte MoE
Décodeur audio Codebook-MTP
Experts MoE FP8
Segmentation automatique du texte
Premiers pas avec Fish Audio Drama 3
Accéder au modèle : Visitez Hugging Face
S'authentifier : Utilisez la clé API
Configurer l'environnement : Suivez le Cookbook
Intégrer via l'API : Utilisez les exemples fournis
Optimiser : Ajustez les paramètres pour les performances
Cas d'utilisation de Fish Audio Drama 3
- Productions Audio
- Clonage Vocal
- Narrations Longues
- Narration Interactive
- Podcasting
