Beschreibung
dots.tts.edit V1.1 ist ein fortschrittliches kontinuierliches autoregressives Modell, das für anspruchsvolle Sprachbearbeitung und Zero-Shot Text-to-Speech (TTS) Synthese entwickelt wurde. Dieses Modell bietet eine granulare Kontrolle über die Sprache und ermöglicht es den Benutzern, eine Vielzahl von Modifikationen vorzunehmen, während die Integrität der Stimme des Sprechers und der umgebenden akustischen Umgebung gewahrt bleibt.
Weiterlesen
Das Modell unterstützt umfassende Bearbeitungsoperationen, einschließlich Textersetzung, -einfügung und -löschung, die entscheidend für die Verfeinerung gesprochener Inhalte sind. Über die grundlegende Textmanipulation hinaus bietet es lokale Kontrolle über Emotionen und ermöglicht freie Stilbeschreibungen, die nuancierte Anpassungen der Sprachdarstellung ermöglichen. Benutzer können auch Tonhöhe und Sprechgeschwindigkeit präzise steuern, Pausen einfügen oder reduzieren und Sprachverbesserungen oder Hintergrundaudio-Operationen anwenden. Eine Schlüsselkompetenz ist die Zusammensetzung mehrerer Bearbeitungsoperationen, die Flexibilität für komplexe Bearbeitungsaufgaben bietet.
dots.tts.edit V1.1 ist mehrsprachig und unterstützt sowohl Englisch als auch Mandarin für Sprachbearbeitung und Zero-Shot Synthese. Es erzeugt hochwertige 48 kHz Audio. Die Kerngewichte des Modells nutzen BF16-Präzision, während der Sprecher-Encoder und der Vocoder FP32-Gewichte für optimale Leistung beibehalten. Das Modell kann über eine Befehlszeilenschnittstelle (CLI) für die Sprachbearbeitung oder über eine Python-API für integrierte Anwendungen aufgerufen werden. Es enthält auch einen interaktiven Spielplatz für lokale Experimente.
Die Installation umfasst die Installation des neuesten Hauptzweigs von dots.tts und seiner empfohlenen Abhängigkeiten. Die CLI benötigt Quell-Audio, eine getaggte Anweisung und einen Ausgabepfad, mit optionalen Quell- und Zieltranskripten. Die Python-API unterstützt verschiedene strukturelle Tags für eine detaillierte Kontrolle über die Bearbeitungen. Für Zero-Shot TTS bietet die DotsTtsEditRuntime die Funktionen `generate` und `generate_stream`.
Benutzer werden geraten, das Modell verantwortungsbewusst zu verwenden. Generierte oder bearbeitete Sprache kann gelegentlich Fehler in der Aussprache, im Timing, in der Ähnlichkeit des Sprechers oder in der Befolgung von Anweisungen enthalten. Das Modell sollte nicht für Identitätsbetrug, irreführende Informationen, Verletzung von Einwilligungen oder die Erstellung rechtswidriger Inhalte verwendet werden. Eine ausdrückliche Zustimmung der Sprecher ist erforderlich, um ihre Stimmen zu verwenden. Öffentlich geteiltes Audio, das mit authentischen, unveränderten Aufnahmen verwechselt werden könnte, muss klar als KI-generiert oder bearbeitet gekennzeichnet werden. Missbrauch kann über die Community-Diskussionen des Modell-Repositorys gemeldet werden.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
dots.tts.edit im Überblick
Kontinuierliches autoregressives Modell für Sprachbearbeitung
Zero-Shot Text-to-Speech-Synthese
Textersetzung, -einfügung und -löschung
Lokalisierte Emotionenkontrolle und freie Stilbeschreibungen
Tonhöhen- und Sprechgeschwindigkeitskontrolle
Pauseneinfügung und -reduzierung
Sprachverbesserung und Hintergrundaudio-Operationen
Zusammensetzung mehrerer Bearbeitungsoperationen
Erhält den Sprecher und den akustischen Kontext außerhalb bearbeiteter Bereiche
Unterstützt Englisch und Mandarin für Sprachbearbeitung und Synthese
Erzeugt 48 kHz Audioausgabe
Befehlszeilenschnittstelle (CLI) für Sprachbearbeitung
Python-API für Integration
Interaktiver lokaler Bearbeitungs-Spielplatz verfügbar
BF16-Kerngewichte mit FP32-Sprecher-Encoder und Vocoder
Erste Schritte mit dots.tts.edit
Installieren Sie Abhängigkeiten: Installieren Sie den neuesten Hauptzweig von dots.tts und seine empfohlenen Abhängigkeiten.
Bereiten Sie Quell-Audio vor: Stellen Sie Quell-Audio für Bearbeitungsoperationen bereit.
Definieren Sie Anweisungen: Erstellen Sie getaggte Anweisungen für die gewünschten Sprachbearbeitungen, einschließlich Text-, Emotionen-, Tonhöhen- oder Geschwindigkeitskontrollen.
Führen Sie den CLI-Befehl aus: Verwenden Sie die Sprachbearbeitungs-CLI mit Quell-Audio, getaggter Anweisung und Ausgabepfad.
Überschreiben Sie Transkripte (optional): Verwenden Sie --source-text und --target-text, um abgeleitete Transkripte bei Bedarf zu überschreiben.
Passen Sie die Sprecheranleitung an (optional): Steuern Sie die Sprecheranleitung mit den Parametern --use-xvector und --speaker-scale.
Integrieren Sie über die Python-API: Nutzen Sie die Python-API mit strukturellen Tags wie <del>, <ins>, <emo>, <pitch> für programmatische Kontrolle.
Generieren Sie Zero-Shot TTS: Verwenden Sie die Funktionen `generate` oder `generate_stream` aus DotsTtsEditRuntime für die Text-to-Speech-Synthese.
dots.tts.edit's Anwendungsfälle
- Verfeinerung von Sprachinhalten
- Emotionen und Stil anpassen
- Prosodie-Kontrolle
- Audioverbesserung
- Zero-Shot TTS
- Mehrsprachige Sprachproduktion
- Interaktive Sprach-Experimentierung







