Description
Audio8-TTS-Realistic-Air est un modèle avancé de synthèse vocale (TTS) développé par Edge0, disponible sur Hugging Face. S'appuyant sur l'Audio8-TTS-Preview-0.6b, cette version améliore considérablement le réalisme vocal, offrant une prosodie plus naturelle et une livraison expressive, tout en maintenant une architecture compacte de 0,6 milliard de paramètres.
Lire la suite
Le modèle bénéficie d'une couverture multilingue plus large, prenant en charge 23 langues. Cela inclut les 11 langues de la version Preview (cantonais, chinois, néerlandais, anglais, français, allemand, italien, japonais, coréen, polonais, espagnol) et 12 nouvelles additions (arabe, finnois, hindi, indonésien, malais, norvégien, portugais, russe, suédois, thaï, turc, vietnamien). Il utilise la même interface d'inférence Transformers que son prédécesseur, la rendant accessible aux développeurs.
Audio8-TTS-Realistic-Air comprend un point de contrôle complet du modèle, un codec audio neural à 44,1 kHz, un tokenizer, un processeur et un code Transformers personnalisé. Il prend en charge une génération flexible, offrant à la fois un clonage vocal en zéro-shot à partir d'un enregistrement de référence et d'un transcript, ainsi qu'une génération vocale sans référence. Les utilisateurs peuvent expérimenter ces capacités dans un Playground interactif hébergé sur Hugging Face ZeroGPU.
Pour les applications à haut débit, le modèle propose un service GPU via un adaptateur SGLang Omni. Cet adaptateur fournit une attention paginée, un traitement dynamique par lots et une API de synthèse vocale compatible avec OpenAI, garantissant un déploiement efficace et évolutif. L'architecture du modèle est un design DualAR, inspiré par le Fish Audio S2 Pro, avec un transformateur AR lent prédisant des tokens sémantiques et un transformateur AR rapide prédisant des livres de codes de codec.
L'installation nécessite Python 3.10 ou une version plus récente et un GPU compatible CUDA. Le modèle a été testé avec PyTorch 2.8.0 et Transformers 4.57.3 sur un NVIDIA H20, couvrant diverses générations linguistiques et clonage vocal. Le code et les poids du modèle sont publiés sous la licence Apache 2.0, promouvant l'accès ouvert et l'utilisation responsable. Bien que la qualité varie selon la langue, le modèle représente un pas en avant significatif dans la synthèse vocale réaliste et multilingue.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de Audio8-TTS-Realistic-Air
Réalité vocale améliorée avec une prosodie naturelle et une livraison expressive
Couverture multilingue plus large prenant en charge 23 langues
Architecture de modèle compacte avec 601 millions de paramètres principaux
Clonage vocal en zéro-shot à partir d'un audio de référence et d'un transcript
Génération vocale sans enregistrement de référence
Service GPU avec adaptateur SGLang Omni pour un haut débit
Support de l'API /v1/audio/speech compatible OpenAI
Architecture DualAR pour un traitement audio avancé
Codec audio neural à 44,1 kHz inclus
Comprend un tokenizer, un processeur et un code Transformers personnalisé
Prend en charge le traitement dynamique par lots et l'attention paginée
Licence Apache 2.0 pour le code et les poids du modèle
Playground interactif pour tester la génération vocale et le clonage vocal
Premiers pas avec Audio8-TTS-Realistic-Air
Accéder au modèle : Naviguez vers la page Edge0/Audio8-TTS-Realistic-Air sur Hugging Face.
Configurer l'environnement : Assurez-vous que Python 3.10+ et un GPU compatible CUDA sont installés.
Charger le modèle : Chargez le modèle en utilisant le code Transformers personnalisé avec `trust_remote_code=True`.
Générer de la parole : Utilisez le processeur pour préparer les entrées pour la génération vocale.
Effectuer un clonage vocal : Fournissez un enregistrement de référence propre et son transcript exact pour le clonage vocal en zéro-shot.
Exécuter l'inférence : Déplacez les entrées vers le dispositif du modèle et exécutez les étapes de génération et de décodage.
Déployer pour le service : Utilisez l'adaptateur SGLang Omni pour un service GPU à haut débit avec une API compatible OpenAI.
Cas d'utilisation de Audio8-TTS-Realistic-Air
- Génération de parole réaliste
- Création de contenu multilingue
- Clonage vocal en zéro-shot
- Applications vocales interactives
- Service audio à haut débit
- Recherche et développement








