Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

Audio8-TTS-Realistic-Air

Audio8-TTS-Realistic-Air est un modèle de synthèse vocale avec 0,6 milliard de paramètres, offrant un réalisme vocal amélioré et un clonage vocal en zéro-shot. Il prend en charge 23 langues, s'appuyant sur son prédécesseur, et comprend un point de contrôle complet du modèle, un codec audio neural, un tokenizer et un processeur. Le modèle est conçu pour une génération vocale flexible et un service GPU à haut débit.

Voir le modèle
Partager
Voir le modèle
Partager

Audio8-TTS-Realistic-Air est un modèle avancé de synthèse vocale (TTS) développé par Edge0, disponible sur Hugging Face. S'appuyant sur l'Audio8-TTS-Preview-0.6b, cette version améliore considérablement le réalisme vocal, offrant une prosodie plus naturelle et une livraison expressive, tout en maintenant une architecture compacte de 0,6 milliard de paramètres.

Lire la suite

Le modèle bénéficie d'une couverture multilingue plus large, prenant en charge 23 langues. Cela inclut les 11 langues de la version Preview (cantonais, chinois, néerlandais, anglais, français, allemand, italien, japonais, coréen, polonais, espagnol) et 12 nouvelles additions (arabe, finnois, hindi, indonésien, malais, norvégien, portugais, russe, suédois, thaï, turc, vietnamien). Il utilise la même interface d'inférence Transformers que son prédécesseur, la rendant accessible aux développeurs.

Audio8-TTS-Realistic-Air comprend un point de contrôle complet du modèle, un codec audio neural à 44,1 kHz, un tokenizer, un processeur et un code Transformers personnalisé. Il prend en charge une génération flexible, offrant à la fois un clonage vocal en zéro-shot à partir d'un enregistrement de référence et d'un transcript, ainsi qu'une génération vocale sans référence. Les utilisateurs peuvent expérimenter ces capacités dans un Playground interactif hébergé sur Hugging Face ZeroGPU.

Pour les applications à haut débit, le modèle propose un service GPU via un adaptateur SGLang Omni. Cet adaptateur fournit une attention paginée, un traitement dynamique par lots et une API de synthèse vocale compatible avec OpenAI, garantissant un déploiement efficace et évolutif. L'architecture du modèle est un design DualAR, inspiré par le Fish Audio S2 Pro, avec un transformateur AR lent prédisant des tokens sémantiques et un transformateur AR rapide prédisant des livres de codes de codec.

L'installation nécessite Python 3.10 ou une version plus récente et un GPU compatible CUDA. Le modèle a été testé avec PyTorch 2.8.0 et Transformers 4.57.3 sur un NVIDIA H20, couvrant diverses générations linguistiques et clonage vocal. Le code et les poids du modèle sont publiés sous la licence Apache 2.0, promouvant l'accès ouvert et l'utilisation responsable. Bien que la qualité varie selon la langue, le modèle représente un pas en avant significatif dans la synthèse vocale réaliste et multilingue.

  • CatégorieModèles d'IA et LLM
  • Modèle tarifaireOpen source
  • DéploiementCloud
  • PlateformesWeb

  • Réalité vocale améliorée avec une prosodie naturelle et une livraison expressive

  • Couverture multilingue plus large prenant en charge 23 langues

  • Architecture de modèle compacte avec 601 millions de paramètres principaux

  • Clonage vocal en zéro-shot à partir d'un audio de référence et d'un transcript

  • Génération vocale sans enregistrement de référence

  • Service GPU avec adaptateur SGLang Omni pour un haut débit

  • Support de l'API /v1/audio/speech compatible OpenAI

  • Architecture DualAR pour un traitement audio avancé

  • Codec audio neural à 44,1 kHz inclus

  • Comprend un tokenizer, un processeur et un code Transformers personnalisé

  • Prend en charge le traitement dynamique par lots et l'attention paginée

  • Licence Apache 2.0 pour le code et les poids du modèle

  • Playground interactif pour tester la génération vocale et le clonage vocal

  1. Accéder au modèle : Naviguez vers la page Edge0/Audio8-TTS-Realistic-Air sur Hugging Face.

  2. Configurer l'environnement : Assurez-vous que Python 3.10+ et un GPU compatible CUDA sont installés.

  3. Charger le modèle : Chargez le modèle en utilisant le code Transformers personnalisé avec `trust_remote_code=True`.

  4. Générer de la parole : Utilisez le processeur pour préparer les entrées pour la génération vocale.

  5. Effectuer un clonage vocal : Fournissez un enregistrement de référence propre et son transcript exact pour le clonage vocal en zéro-shot.

  6. Exécuter l'inférence : Déplacez les entrées vers le dispositif du modèle et exécutez les étapes de génération et de décodage.

  7. Déployer pour le service : Utilisez l'adaptateur SGLang Omni pour un service GPU à haut débit avec une API compatible OpenAI.

  • Génération de parole réaliste
  • Création de contenu multilingue
  • Clonage vocal en zéro-shot
  • Applications vocales interactives
  • Service audio à haut débit
  • Recherche et développement

Chez Edge0

Un modèle de Audio8-TTS-Realistic-0.6b.

Avis sur Audio8-TTS-Realistic-Air

Chargement...

Outils IA populaires comme Audio8-TTS-Realistic-Air

Audio8-TTS-Realistic-0.6b est un modèle de synthèse vocale offrant un réalisme vocal amélioré et un clonage vocal en zéro-shot. Il prend en charge 23 langues et utilise une…

Modèles d'IA et LLM
Voir l'outil

Modèle de synthèse vocale offrant un réalisme vocal amélioré et un clonage vocal en zéro-shot. Il prend en charge 23 langues et utilise une…Audio8-TTS-Realistic-0.6b est un modèle de synthèse vocale offrant un réalisme vocal amélioré et un clonage vocal en zéro-shot. Il prend en charge 23 langues et utilise une…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Modèle AI Bark

Modèles IA

Bark est un modèle de texte à audio basé sur un transformateur développé par Suno, capable de générer une parole réaliste multilingue et d'autres formes audio. Il soutient la…

Modèles d'IA et LLM
Voir l'outil

Modèles IA

Bark est un modèle de texte à audio basé sur un transformateur développé par Suno, capable de générer une parole réaliste multilingue et d'autres formes audio. Il soutient la…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Ming-3.0-tts-0.5B est un modèle de synthèse vocale multilingue offrant un clonage vocal sans apprentissage préalable et un contrôle libre. Il prend en charge plusieurs langues et…

Synthèse vocale
Voir l'outil

Modèle de synthèse vocale multilingue offrant un clonage vocal sans apprentissage préalable et un contrôle libre. Il prend en charge plusieurs langues et…Ming-3.0-tts-0.5B est un modèle de synthèse vocale multilingue offrant un clonage vocal sans apprentissage préalable et un contrôle libre. Il prend en charge plusieurs langues et…

Synthèse vocale
Voir le Top 5 Modèles IA

Ming-3.0-tts-tiny est un modèle de synthèse vocale multilingue avec contrôle paralinguistique et libre. Il prend en charge le clonage vocal sans exemple et la conception vocale,…

Synthèse vocale
Voir l'outil

Modèle de synthèse vocale multilingue avec contrôle paralinguistique et libre. Il prend en charge le clonage vocal sans exemple et la conception vocale,…Ming-3.0-tts-tiny est un modèle de synthèse vocale multilingue avec contrôle paralinguistique et libre. Il prend en charge le clonage vocal sans exemple et la conception vocale,…

Synthèse vocale
Voir le Top 5 Modèles IA

Dia-1.6B est un modèle de synthèse vocale développé par Nari Labs, avec 1,6 milliard de paramètres. Il génère des dialogues réalistes à partir de transcriptions, prenant en charge…

Synthèse vocale
Voir l'outil

Dia-1.6B est un modèle de synthèse vocale développé par Nari Labs, avec 1,6 milliard de paramètres. Il génère des dialogues réalistes à partir de transcriptions, prenant en charge…

Synthèse vocale
Voir le Top 5 Modèles IA

Chatterbox Turbo

Modèles IA

Chatterbox Turbo est un modèle de synthèse vocale open-source développé par Resemble AI, offrant des performances ultrarapides avec 350 millions de paramètres et une latence de 75…

Modèles d'IA et LLM
Voir l'outil

Modèles IA

Modèle de synthèse vocale open-source développé par Resemble AI, offrant des performances ultrarapides avec 350 millions de paramètres et une latence de 75…Chatterbox Turbo est un modèle de synthèse vocale open-source développé par Resemble AI, offrant des performances ultrarapides avec 350 millions de paramètres et une latence de 75…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Apriel Voice 27B Preview est un modèle audio-texte-à-texte ouvert de ServiceNow, construit avec 27 milliards de paramètres et des Transformers. Il traite les demandes vocales,…

Modèles d'IA et LLM
Voir l'outil

Modèle audio-texte-à-texte ouvert de ServiceNow, construit avec 27 milliards de paramètres et des Transformers. Il traite les demandes vocales,…Apriel Voice 27B Preview est un modèle audio-texte-à-texte ouvert de ServiceNow, construit avec 27 milliards de paramètres et des Transformers. Il traite les demandes vocales,…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

whisper-large-v3

Modèles IA

Whisper-large-v3 est un modèle avancé pour la reconnaissance automatique de la parole et la traduction de la parole, entraîné sur plus de 5 millions d'heures de données. Il offre…

Modèles d'IA et LLM
Voir l'outil

Modèles IA

Modèle avancé pour la reconnaissance automatique de la parole et la traduction de la parole, entraîné sur plus de 5 millions d'heures de données. Il offre…Whisper-large-v3 est un modèle avancé pour la reconnaissance automatique de la parole et la traduction de la parole, entraîné sur plus de 5 millions d'heures de données. Il offre…

En vedetteModèles d'IA et LLM
Voir le Top 5 Modèles IA
1 sur 8