Beschreibung
Fish Audio Drama 3 ist das neueste Text-zu-Sprache-Modell von Fish Audio, das speziell für Szenen mit mehreren Charakteren und längeren Inhalten entwickelt wurde. Dieses Modell unterstützt die Generierung mehrerer Sprecher, Sprachklonierung und natürliche Sprachsteuerung, sodass Benutzer dynamische und ansprechende Audio-Produktionen erstellen können. Mit 35 Milliarden Parametern und 3 Milliarden aktiven pro Token nutzt es ein MoE-Text-Backbone mit hybrider Aufmerksamkeit, um hochwertige Sprachsynthese zu liefern.
Weiterlesen
Das Modell verfügt über einen Codebook-MTP-Audio-Decoder, der 10 Codebooks kausal über die gesamte Sequenz decodiert und so einen reibungslosen und kohärenten Audioausgang gewährleistet. Es verwendet auch FP8 MoE-Experten mit den verbleibenden Gewichten in bf16, um Leistung und Effizienz zu optimieren. Benutzer können bis zu 16 verschiedene Charaktere in einem einzigen Text mithilfe von Sprecher-Tags einfügen, was Flexibilität im Audio-Storytelling bietet.
Fish Audio Drama 3 chunked automatisch lange Texte und streamt sie pro Chunk, was die Benutzerfreundlichkeit für lange Skripte verbessert. Es wird mit SGLang Omni gestartet, was eine nahtlose Integration und Bereitstellung ermöglicht. Das Drama 3 Cookbook bietet detaillierte Anleitungen zur Installation, Bereitstellung und API-Nutzung, was es Entwicklern und Audio-Produzenten zugänglich macht.
Leistungskennzahlen auf NVIDIA H200 GPUs zeigen seine Effizienz mit einem Durchsatz von bis zu 1.687,3 Bildern pro Sekunde bei hohen Parallelitätsniveaus. Das Modell hält eine niedrige Zeit bis zur ersten Audioausgabe (TTFA) und einen günstigen Echtzeitfaktor (RTF) aufrecht, was eine schnelle und reaktionsschnelle Audioerzeugung gewährleistet. Das Modell ist unter der Fish Audio Community License lizenziert, die offenen Zugang und Zusammenarbeit fördert.
- KategorieText-to-Speech
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Fish Audio Drama 3 im Überblick
Generierung mehrerer Sprecher
Sprachklonierung
Natürliche Sprachsteuerung
35B Parameter
MoE-Text-Backbone
Codebook-MTP-Audio-Decoder
FP8 MoE-Experten
Automatische Textchunking
Erste Schritte mit Fish Audio Drama 3
Modell zugreifen: Besuchen Sie Hugging Face
Authentifizieren: Verwenden Sie den API-Schlüssel
Umgebung einrichten: Folgen Sie dem Cookbook
Integration über API: Verwenden Sie die bereitgestellten Beispiele
Optimieren: Passen Sie die Parameter für die Leistung an
Fish Audio Drama 3's Anwendungsfälle
- Audio-Produktionen
- Sprachklonierung
- Längere Erzählungen
- Interaktives Geschichtenerzählen
- Podcasting
