Beschreibung
Audio8-TTS-Realistic-Air ist ein fortschrittliches Text-zu-Sprache (TTS) Modell, das von Edge0 entwickelt wurde und auf Hugging Face verfügbar ist. Dieses Release baut auf dem Audio8-TTS-Preview-0.6b auf und verbessert die Sprachrealität erheblich, indem es eine natürlichere Prosodie und einen ausdrucksstarken Vortrag liefert, während es eine kompakte Architektur mit 0,6 Milliarden Parametern beibehält.
Weiterlesen
Das Modell bietet eine breitere mehrsprachige Abdeckung und unterstützt 23 Sprachen. Dazu gehören die 11 Sprachen der Vorschauversion (Kantonesisch, Chinesisch, Niederländisch, Englisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Polnisch, Spanisch) sowie 12 neue Ergänzungen (Arabisch, Finnisch, Hindi, Indonesisch, Malaiisch, Norwegisch, Portugiesisch, Russisch, Schwedisch, Thailändisch, Türkisch, Vietnamesisch). Es verwendet dieselbe Transformers-Inferenzschnittstelle wie sein Vorgänger, was es Entwicklern zugänglich macht.
Audio8-TTS-Realistic-Air umfasst einen vollständigen Modell-Checkpoint, einen 44,1 kHz neuronalen Audio-Codec, einen Tokenizer, einen Prozessor und benutzerdefinierten Transformers-Code. Es unterstützt flexible Generierung und bietet sowohl Zero-Shot-Stimmenklonierung aus einer Referenzaufnahme und Transkript als auch Sprachgenerierung ohne Referenz. Benutzer können diese Funktionen in einem interaktiven Playground auf Hugging Face ZeroGPU ausprobieren.
Für hochgradige Anwendungen bietet das Modell GPU-Bereitstellung über einen SGLang Omni-Adapter. Dieser Adapter ermöglicht paged attention, dynamisches Batching und eine OpenAI-kompatible Sprach-API, um eine effiziente und skalierbare Bereitstellung zu gewährleisten. Die Architektur des Modells ist ein DualAR-Design, inspiriert von Fish Audio S2 Pro, mit einem langsamen AR-Transformer, der semantische Tokens vorhersagt, und einem schnellen AR-Transformer, der Codec-Codebücher vorhersagt.
Die Installation erfordert Python 3.10 oder neuer und eine CUDA-fähige GPU. Das Modell wurde mit PyTorch 2.8.0 und Transformers 4.57.3 auf einem NVIDIA H20 getestet und deckt verschiedene Sprachgenerierungen und Stimmenklonierungen ab. Der Code und die Modellgewichte werden unter der Apache License 2.0 veröffentlicht, um den offenen Zugang und verantwortungsbewusste Nutzung zu fördern. Während die Qualität je nach Sprache variiert, stellt das Modell einen bedeutenden Fortschritt in der realistischen und mehrsprachigen Text-zu-Sprache-Synthese dar.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Audio8-TTS-Realistic-Air im Überblick
Verbesserte Sprachrealität mit natürlicher Prosodie und ausdrucksstarkem Vortrag
Breitere mehrsprachige Abdeckung mit Unterstützung für 23 Sprachen
Kompakte Modellarchitektur mit 601 Millionen Hauptmodellparametern
Zero-Shot-Stimmenklonierung aus Referenzaudio und Transkript
Sprachgenerierung ohne Referenzaufnahme
GPU-Bereitstellung mit SGLang Omni-Adapter für hohe Durchsatzrate
OpenAI-kompatible /v1/audio/speech API-Unterstützung
DualAR-Architektur für fortschrittliche Audioverarbeitung
Integrierter 44,1 kHz neuronaler Audio-Codec
Beinhaltet Tokenizer, Prozessor und benutzerdefinierten Transformers-Code
Unterstützt dynamisches Batching und paged attention
Apache License 2.0 für Code und Modellgewichte
Interaktiver Playground zum Testen der Sprachgenerierung und Stimmenklonierung
Erste Schritte mit Audio8-TTS-Realistic-Air
Modell zugreifen: Navigieren Sie zur Edge0/Audio8-TTS-Realistic-Air-Seite auf Hugging Face.
Umgebung einrichten: Stellen Sie sicher, dass Python 3.10+ und eine CUDA-fähige GPU installiert sind.
Modell laden: Laden Sie das Modell mit benutzerdefiniertem Transformers-Code mit `trust_remote_code=True`.
Sprache generieren: Verwenden Sie den Prozessor, um Eingaben für die Sprachgenerierung vorzubereiten.
Stimmenklonierung durchführen: Stellen Sie eine saubere Referenzaufnahme und das genaue Transkript für die Zero-Shot-Stimmenklonierung bereit.
Inference ausführen: Verschieben Sie die Eingaben auf das Modellgerät und führen Sie die Generierungs- und Dekodierungsschritte aus.
Bereitstellung für den Service: Nutzen Sie den SGLang Omni-Adapter für die hochgradige GPU-Bereitstellung mit einer OpenAI-kompatiblen API.
Audio8-TTS-Realistic-Air's Anwendungsfälle
- Realistische Sprachgenerierung
- Mehrsprachige Inhaltserstellung
- Zero-Shot-Stimmenklonierung
- Interaktive Sprach-Anwendungen
- Hochgradige Audio-Bereitstellung
- Forschung und Entwicklung








