Description
IndexTTS-2.5 est un modèle de synthèse vocale sophistiqué développé par IndexTeam et Bilibili. Il est conçu pour cloner des voix à partir d'un seul clip audio de référence, ce qui en fait un outil puissant pour la synthèse vocale. Le modèle prend en charge plusieurs langues, y compris le chinois, l'anglais, le japonais, l'espagnol et l'arabe, permettant un transfert vocal interlinguistique. L'une de ses caractéristiques clés est le contrôle émotionnel, qui est dissocié du timbre, offrant aux utilisateurs la possibilité de manipuler le ton émotionnel de la parole synthétisée.
Lire la suite
Comparé à son prédécesseur, IndexTTS-2, cette version introduit le support de langues supplémentaires telles que le japonais, l'espagnol et l'arabe. Elle offre également des temps d'inférence plus rapides et un meilleur contrôle sur les phonèmes chinois Pinyin, anglais CMU et japonais Kana. Le modèle fonctionne avec une architecture de type GPT et utilise un décodeur de parole à mélodies par correspondance de flux, ainsi qu'un vocodeur BigVGAN, avec environ 0,8 milliard de paramètres.
IndexTTS-2.5 produit une forme d'onde à 22,05 kHz et nécessite Python 3.10–3.11, un GPU NVIDIA et environ 6 Go de VRAM pour l'inférence. Les utilisateurs doivent télécharger les poids du modèle, et les modèles auxiliaires sont téléchargés dans des points de contrôle lors de la première exécution. Les limitations du modèle incluent la nécessité de segmenter de longs textes, ce qui affecte la prosodie à travers les frontières de segment, et la responsabilité de l'utilisateur d'obtenir le consentement pour le clonage vocal.
Le modèle est sous licence selon l'accord de licence d'utilisation du modèle bilibili, et son dépôt est disponible sur GitHub. Avec près de 15 000 téléchargements au cours du dernier mois, IndexTTS-2.5 est un choix populaire pour les développeurs et les chercheurs intéressés par des capacités avancées de synthèse vocale.
- CatégorieSynthèse vocale
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de IndexTTS-2.5
Clonage vocal zéro-shot
Prend en charge le chinois, l'anglais, le japonais, l'espagnol, l'arabe
Transfert vocal interlinguistique
Contrôle émotionnel dissocié du timbre
Temps d'inférence plus rapides
Amélioration du contrôle des phonèmes
Sortie de forme d'onde à 22,05 kHz
TTS autoregressif avec architecture GPT
Premiers pas avec IndexTTS-2.5
Accéder au modèle : Visitez la page Hugging Face
Authentifier : Configurez les identifiants d'accès
Configurer l'environnement : Installez Python 3.10–3.11 et les bibliothèques requises
Intégrer via l'API : Utilisez l'API fournie pour l'intégration
Optimiser : Ajustez les paramètres pour obtenir la sortie souhaitée
Cas d'utilisation de IndexTTS-2.5
- Clonage Vocal
- Synthèse Multilingue
- Contrôle Émotionnel
- Transfert Interlinguistique
- Contrôle des Phonèmes
