Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

Audio8-TTS-Realistic-Air

KI-ModelleKI-Modelle & LLMsOpen Source · Web

Audio8-TTS-Realistic-Air ist ein Text-zu-Sprache-Modell mit 0,6 Milliarden Parametern, das verbesserte Sprachrealität und Zero-Shot-Stimmenklonierung bietet. Es unterstützt 23 Sprachen und erweitert damit sein Vorgängermodell. Es umfasst einen vollständigen Modell-Checkpoint, einen neuronalen Audio-Codec, einen Tokenizer und einen Prozessor. Das Modell ist für flexible Sprachgenerierung und hochgradige GPU-Bereitstellung konzipiert.

Modell ansehen
Teilen
Modell ansehen
Teilen

Audio8-TTS-Realistic-Air ist ein fortschrittliches Text-zu-Sprache (TTS) Modell, das von Edge0 entwickelt wurde und auf Hugging Face verfügbar ist. Dieses Release baut auf dem Audio8-TTS-Preview-0.6b auf und verbessert die Sprachrealität erheblich, indem es eine natürlichere Prosodie und einen ausdrucksstarken Vortrag liefert, während es eine kompakte Architektur mit 0,6 Milliarden Parametern beibehält.

Weiterlesen

Das Modell bietet eine breitere mehrsprachige Abdeckung und unterstützt 23 Sprachen. Dazu gehören die 11 Sprachen der Vorschauversion (Kantonesisch, Chinesisch, Niederländisch, Englisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Polnisch, Spanisch) sowie 12 neue Ergänzungen (Arabisch, Finnisch, Hindi, Indonesisch, Malaiisch, Norwegisch, Portugiesisch, Russisch, Schwedisch, Thailändisch, Türkisch, Vietnamesisch). Es verwendet dieselbe Transformers-Inferenzschnittstelle wie sein Vorgänger, was es Entwicklern zugänglich macht.

Audio8-TTS-Realistic-Air umfasst einen vollständigen Modell-Checkpoint, einen 44,1 kHz neuronalen Audio-Codec, einen Tokenizer, einen Prozessor und benutzerdefinierten Transformers-Code. Es unterstützt flexible Generierung und bietet sowohl Zero-Shot-Stimmenklonierung aus einer Referenzaufnahme und Transkript als auch Sprachgenerierung ohne Referenz. Benutzer können diese Funktionen in einem interaktiven Playground auf Hugging Face ZeroGPU ausprobieren.

Für hochgradige Anwendungen bietet das Modell GPU-Bereitstellung über einen SGLang Omni-Adapter. Dieser Adapter ermöglicht paged attention, dynamisches Batching und eine OpenAI-kompatible Sprach-API, um eine effiziente und skalierbare Bereitstellung zu gewährleisten. Die Architektur des Modells ist ein DualAR-Design, inspiriert von Fish Audio S2 Pro, mit einem langsamen AR-Transformer, der semantische Tokens vorhersagt, und einem schnellen AR-Transformer, der Codec-Codebücher vorhersagt.

Die Installation erfordert Python 3.10 oder neuer und eine CUDA-fähige GPU. Das Modell wurde mit PyTorch 2.8.0 und Transformers 4.57.3 auf einem NVIDIA H20 getestet und deckt verschiedene Sprachgenerierungen und Stimmenklonierungen ab. Der Code und die Modellgewichte werden unter der Apache License 2.0 veröffentlicht, um den offenen Zugang und verantwortungsbewusste Nutzung zu fördern. Während die Qualität je nach Sprache variiert, stellt das Modell einen bedeutenden Fortschritt in der realistischen und mehrsprachigen Text-zu-Sprache-Synthese dar.

  • KategorieKI-Modelle & LLMs
  • PreismodellOpen Source
  • BereitstellungCloud
  • PlattformenWeb

  • Verbesserte Sprachrealität mit natürlicher Prosodie und ausdrucksstarkem Vortrag

  • Breitere mehrsprachige Abdeckung mit Unterstützung für 23 Sprachen

  • Kompakte Modellarchitektur mit 601 Millionen Hauptmodellparametern

  • Zero-Shot-Stimmenklonierung aus Referenzaudio und Transkript

  • Sprachgenerierung ohne Referenzaufnahme

  • GPU-Bereitstellung mit SGLang Omni-Adapter für hohe Durchsatzrate

  • OpenAI-kompatible /v1/audio/speech API-Unterstützung

  • DualAR-Architektur für fortschrittliche Audioverarbeitung

  • Integrierter 44,1 kHz neuronaler Audio-Codec

  • Beinhaltet Tokenizer, Prozessor und benutzerdefinierten Transformers-Code

  • Unterstützt dynamisches Batching und paged attention

  • Apache License 2.0 für Code und Modellgewichte

  • Interaktiver Playground zum Testen der Sprachgenerierung und Stimmenklonierung

  1. Modell zugreifen: Navigieren Sie zur Edge0/Audio8-TTS-Realistic-Air-Seite auf Hugging Face.

  2. Umgebung einrichten: Stellen Sie sicher, dass Python 3.10+ und eine CUDA-fähige GPU installiert sind.

  3. Modell laden: Laden Sie das Modell mit benutzerdefiniertem Transformers-Code mit `trust_remote_code=True`.

  4. Sprache generieren: Verwenden Sie den Prozessor, um Eingaben für die Sprachgenerierung vorzubereiten.

  5. Stimmenklonierung durchführen: Stellen Sie eine saubere Referenzaufnahme und das genaue Transkript für die Zero-Shot-Stimmenklonierung bereit.

  6. Inference ausführen: Verschieben Sie die Eingaben auf das Modellgerät und führen Sie die Generierungs- und Dekodierungsschritte aus.

  7. Bereitstellung für den Service: Nutzen Sie den SGLang Omni-Adapter für die hochgradige GPU-Bereitstellung mit einer OpenAI-kompatiblen API.

  • Realistische Sprachgenerierung
  • Mehrsprachige Inhaltserstellung
  • Zero-Shot-Stimmenklonierung
  • Interaktive Sprach-Anwendungen
  • Hochgradige Audio-Bereitstellung
  • Forschung und Entwicklung

Von Edge0

Ein Modell in Audio8-TTS-Realistic-0.6b.

Audio8-TTS-Realistic-Air Bewertungen

Wird geladen...

Beliebte KI-Tools wie Audio8-TTS-Realistic-Air

Audio8-TTS-Realistic-0.6b ist ein Text-zu-Sprache-Modell, das verbesserte Sprachrealismus und Zero-Shot-Stimmenklonierung bietet. Es unterstützt 23 Sprachen und verwendet eine…

KI-Modelle & LLMs
Tool ansehen

Text-zu-Sprache-Modell, das verbesserte Sprachrealismus und Zero-Shot-Stimmenklonierung bietet. Es unterstützt 23 Sprachen und verwendet eine…Audio8-TTS-Realistic-0.6b ist ein Text-zu-Sprache-Modell, das verbesserte Sprachrealismus und Zero-Shot-Stimmenklonierung bietet. Es unterstützt 23 Sprachen und verwendet eine…

KI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Bark AI Modell

KI-Modelle

Bark ist ein transformerbasiertes Text-zu-Audio-Modell von Suno, das in der Lage ist, realistische mehrsprachige Sprache und andere Audioformen zu erzeugen. Es unterstützt die…

KI-Modelle & LLMs
Tool ansehen

KI-Modelle

Transformerbasiertes Text-zu-Audio-Modell von Suno, das in der Lage ist, realistische mehrsprachige Sprache und andere Audioformen zu erzeugen. Es unterstützt die…Bark ist ein transformerbasiertes Text-zu-Audio-Modell von Suno, das in der Lage ist, realistische mehrsprachige Sprache und andere Audioformen zu erzeugen. Es unterstützt die…

KI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Ming-3.0-tts-0.5B ist ein mehrsprachiges Sprachsynthesemodell, das Zero-Shot-Stimmenklonierung und freie Steuerung bietet. Es unterstützt mehrere Sprachen und Dialekte und…

Text-to-Speech
Tool ansehen

Mehrsprachiges Sprachsynthesemodell, das Zero-Shot-Stimmenklonierung und freie Steuerung bietet. Es unterstützt mehrere Sprachen und Dialekte und…Ming-3.0-tts-0.5B ist ein mehrsprachiges Sprachsynthesemodell, das Zero-Shot-Stimmenklonierung und freie Steuerung bietet. Es unterstützt mehrere Sprachen und Dialekte und…

Text-to-Speech
Top 5 KI-Modelle ansehen

Ming-3.0-tts-tiny ist ein mehrsprachiges Sprachsynthesemodell mit paralinguistischen und freiformlichen Steuerungsmöglichkeiten. Es unterstützt Zero-Shot-Stimmenklonierung und…

Text-to-Speech
Tool ansehen

Mehrsprachiges Sprachsynthesemodell mit paralinguistischen und freiformlichen Steuerungsmöglichkeiten. Es unterstützt Zero-Shot-Stimmenklonierung und…Ming-3.0-tts-tiny ist ein mehrsprachiges Sprachsynthesemodell mit paralinguistischen und freiformlichen Steuerungsmöglichkeiten. Es unterstützt Zero-Shot-Stimmenklonierung und…

Text-to-Speech
Top 5 KI-Modelle ansehen

Dia-1.6B ist ein Text-zu-Sprache-Modell von Nari Labs mit 1,6 Milliarden Parametern. Es erzeugt realistische Dialoge aus Transkripten, unterstützt Emotionen und Tonkontrolle und…

Text-to-Speech
Tool ansehen

Text-zu-Sprache-Modell von Nari Labs mit 1,6 Milliarden Parametern. Es erzeugt realistische Dialoge aus Transkripten, unterstützt Emotionen und Tonkontrolle und…Dia-1.6B ist ein Text-zu-Sprache-Modell von Nari Labs mit 1,6 Milliarden Parametern. Es erzeugt realistische Dialoge aus Transkripten, unterstützt Emotionen und Tonkontrolle und…

Text-to-Speech
Top 5 KI-Modelle ansehen

Chatterbox Turbo ist ein Open-Source-Text-zu-Sprache-Modell von Resemble AI, das ultraflotte Leistung mit 350 Millionen Parametern und 75 ms Latenz bietet. Es ermöglicht die…

KI-Modelle & LLMs
Tool ansehen

Open-Source-Text-zu-Sprache-Modell von Resemble AI, das ultraflotte Leistung mit 350 Millionen Parametern und 75 ms Latenz bietet. Es ermöglicht die…Chatterbox Turbo ist ein Open-Source-Text-zu-Sprache-Modell von Resemble AI, das ultraflotte Leistung mit 350 Millionen Parametern und 75 ms Latenz bietet. Es ermöglicht die…

KI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Apriel Voice 27B Preview ist ein offenes Audio-Text-zu-Text-Modell von ServiceNow, das mit 27 Milliarden Parametern und Transformers entwickelt wurde. Es verarbeitet gesprochene…

KI-Modelle & LLMs
Tool ansehen

Offenes Audio-Text-zu-Text-Modell von ServiceNow, das mit 27 Milliarden Parametern und Transformers entwickelt wurde. Es verarbeitet gesprochene…Apriel Voice 27B Preview ist ein offenes Audio-Text-zu-Text-Modell von ServiceNow, das mit 27 Milliarden Parametern und Transformers entwickelt wurde. Es verarbeitet gesprochene…

KI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Whisper-large-v3 ist ein fortschrittliches Modell für automatische Spracherkennung und Sprachübersetzung, das auf über 5 Millionen Stunden Daten trainiert wurde. Es bietet…

KI-Modelle & LLMs
Tool ansehen

Fortschrittliches Modell für automatische Spracherkennung und Sprachübersetzung, das auf über 5 Millionen Stunden Daten trainiert wurde. Es bietet…Whisper-large-v3 ist ein fortschrittliches Modell für automatische Spracherkennung und Sprachübersetzung, das auf über 5 Millionen Stunden Daten trainiert wurde. Es bietet…

EmpfohlenKI-Modelle & LLMs
Top 5 KI-Modelle ansehen
1 von 8