Description
dots.tts.edit V1.1 est un modèle autoregressif continu avancé développé pour un montage vocal sophistiqué et une synthèse texte-à-parole (TTS) zéro-shot. Ce modèle offre un contrôle granulaire sur la parole, permettant aux utilisateurs d'effectuer une large gamme de modifications tout en maintenant l'intégrité de la voix du locuteur et de l'environnement acoustique environnant.
Lire la suite
Le modèle prend en charge des opérations d'édition complètes, y compris le remplacement de texte, l'insertion et la suppression, qui sont cruciales pour affiner le contenu parlé. Au-delà de la manipulation de texte de base, il fournit un contrôle localisé sur l'émotion et permet des descriptions de style libre, permettant des ajustements nuancés à la livraison de la parole. Les utilisateurs peuvent également contrôler précisément la hauteur et le rythme de la parole, insérer ou réduire des pauses, et appliquer des opérations d'amélioration de la parole ou d'audio de fond. Une capacité clé est la composition de plusieurs opérations d'édition, offrant une flexibilité pour des tâches d'édition complexes.
dots.tts.edit V1.1 est multilingue, prenant en charge à la fois l'édition de la parole en anglais et en mandarin ainsi que la synthèse zéro-shot. Il génère un audio de haute qualité à 48 kHz. Les poids principaux du modèle utilisent une précision BF16, tandis que l'encodeur de locuteur et le vocodeur maintiennent des poids FP32 pour des performances optimales. Le modèle peut être accessible via une interface en ligne de commande (CLI) pour l'édition de la parole ou via une API Python pour des applications plus intégrées. Il comprend également un terrain de jeu interactif pour des expérimentations locales.
L'installation implique l'installation de la dernière branche principale de dots.tts et de ses dépendances recommandées. La CLI nécessite un audio source, une instruction taguée et un chemin de sortie, avec des transcriptions source et cible optionnelles. L'API Python prend en charge divers tags structurels pour un contrôle détaillé sur les modifications. Pour le TTS zéro-shot, le DotsTtsEditRuntime fournit des fonctions `generate` et `generate_stream`.
Les utilisateurs sont conseillés d'utiliser le modèle de manière responsable. La parole générée ou modifiée peut parfois contenir des erreurs de prononciation, de timing, de similarité de locuteur ou de suivi des instructions. Le modèle ne doit pas être utilisé pour l'imitation, tromper les auditeurs, violer le consentement ou créer du contenu illégal. Un consentement explicite des locuteurs est requis pour utiliser leurs voix. Les audio partagés publiquement qui pourraient être confondus avec des enregistrements authentiques et non modifiés doivent être clairement divulgués comme générés ou modifiés par IA. Les abus peuvent être signalés via les discussions communautaires du dépôt du modèle.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de dots.tts.edit
Modèle autoregressif continu pour l'édition de la parole
Synthèse texte-à-parole zéro-shot
Remplacement de texte, insertion et suppression
Contrôle localisé des émotions et descriptions de style libre
Contrôle de la hauteur et du rythme de la parole
Insertion et réduction de pauses
Amélioration de la parole et opérations audio de fond
Composition de plusieurs opérations d'édition
Préserve le locuteur et le contexte acoustique en dehors des régions modifiées
Prend en charge l'édition et la synthèse de la parole en anglais et en mandarin
Produit un audio de sortie à 48 kHz
Interface en ligne de commande (CLI) pour l'édition de la parole
API Python pour l'intégration
Terrain de jeu d'édition local interactif disponible
Poids principaux BF16 avec encodeur de locuteur FP32 et vocodeur
Premiers pas avec dots.tts.edit
Installer les dépendances : Installez la dernière branche principale de dots.tts et ses dépendances recommandées.
Préparer l'audio source : Fournissez l'audio source pour les opérations d'édition.
Définir les instructions : Créez des instructions taguées pour les modifications de parole souhaitées, y compris le texte, l'émotion, la hauteur ou les contrôles de rythme.
Exécuter la commande CLI : Utilisez la CLI d'édition de la parole avec l'audio source, l'instruction taguée et le chemin de sortie.
Remplacer les transcriptions (optionnel) : Utilisez --source-text et --target-text pour remplacer les transcriptions dérivées si nécessaire.
Ajuster les conseils du locuteur (optionnel) : Contrôlez les conseils du locuteur avec les paramètres --use-xvector et --speaker-scale.
Intégrer via l'API Python : Utilisez l'API Python avec des tags structurels comme <del>, <ins>, <emo>, <pitch> pour un contrôle programmatique.
Générer TTS zéro-shot : Utilisez les fonctions `generate` ou `generate_stream` de DotsTtsEditRuntime pour la synthèse texte-à-parole.
Cas d'utilisation de dots.tts.edit
- Affinement du contenu vocal
- Ajustement des émotions et du style
- Contrôle de la prosodie
- Amélioration audio
- TTS zéro-shot
- Production de parole multilingue
- Expérimentation interactive de la parole







