Description
SoundStorm est un modèle d'IA avancé conçu pour une génération audio hautement efficace et non autorégressive. Il prend des jetons sémantiques d'AudioLM en entrée et utilise une attention bidirectionnelle ainsi qu'un décodage parallèle basé sur la confiance pour générer les jetons d'un codec audio neuronal. Cette approche accélère considérablement la production audio, atteignant des vitesses deux ordres de grandeur plus rapides que la génération autorégressive d'AudioLM.
Lire la suite
Ce modèle excelle dans la production d'un son de qualité équivalente et d'une cohérence supérieure en termes de voix et de conditions acoustiques par rapport à ses prédécesseurs. Une capacité clé est son aptitude à générer 30 secondes de son en seulement 0,5 seconde sur un TPU-v4. SoundStorm démontre une scalabilité pour des séquences audio plus longues, permettant la synthèse de segments de dialogue naturels de haute qualité. Ceci est réalisé en conditionnant sur une transcription annotée avec les tours de parole et un court extrait vocal du locuteur désiré.
Lorsqu'il est intégré à des étapes de modélisation texte-vers-sémantique comme SPEAR-TTS, SoundStorm peut synthétiser des dialogues au son naturel. Les utilisateurs peuvent contrôler précisément le contenu parlé via les transcriptions, la voix du locuteur via de courts extraits, et le flux de la conversation via les annotations de tours de parole. Par exemple, la synthèse de segments de dialogue de 30 secondes ne prend que 2 secondes sur un seul TPU-v4, même pour des textes et des locuteurs jamais vus pendant l'entraînement.
SoundStorm offre également des capacités pour la génération audio sans et avec amorce. Dans le scénario sans amorce, il échantillonne différents locuteurs, tandis que dans le cas avec amorce, il maintient la voix du locuteur avec une haute fidélité. Cela en fait un outil puissant pour diverses tâches de synthèse audio. Comparé aux méthodes de base comme AudioLM et au décodage glouton, SoundStorm offre une meilleure cohérence acoustique et une meilleure préservation de la voix à partir des amorces, ainsi qu'une qualité audio supérieure.
Le pipeline de génération efficace du modèle rend la recherche en génération audio plus accessible. Bien que la capacité à imiter des voix soulève des préoccupations quant à une utilisation abusive potentielle, telle que l'usurpation d'identité, des mesures de sécurité sont en cours de développement. Le son généré par SoundStorm s'est avéré détectable par des classificateurs dédiés, atténuant certains risques. La recherche vise à faire progresser la technologie de génération audio de manière responsable.
- CatégorieModèles d'IA et LLM
- DéploiementCloud
- PlateformesWeb
Points forts de SoundStorm
Génération audio non autorégressive et efficace
Génère du son deux ordres de grandeur plus rapidement qu'AudioLM
Maintient une haute cohérence dans la voix et les conditions acoustiques
Synthétise des segments de dialogue naturels avec contrôle du locuteur
Accepte les jetons sémantiques d'AudioLM en entrée
Utilise l'attention bidirectionnelle et le décodage parallèle basé sur la confiance
Scalable pour des séquences audio plus longues
Prend en charge la synthèse de dialogue avec contrôle du contenu, de la voix et des tours de parole
Peut générer du son à partir de modèles texte-vers-sémantique
Démontre une haute cohérence acoustique et une préservation de la voix dans la génération avec amorce
Produit un son de meilleure qualité par rapport aux bases de référence de décodage glouton
Premiers pas avec SoundStorm
Accéder au modèle : Obtenir l'accès au modèle SoundStorm et à ses composants associés.
Configurer l'environnement : Configurer l'environnement logiciel et matériel nécessaire pour exécuter le modèle.
Entrer des jetons sémantiques : Fournir les jetons sémantiques générés par AudioLM à SoundStorm.
Intégrer via API : Utiliser l'API du modèle pour une intégration transparente dans les pipelines de génération audio.
Fournir des informations de conditionnement : Fournir des transcriptions, des annotations de tours de parole et des extraits vocaux pour une synthèse contrôlée.
Générer le son : Exécuter le processus de génération pour produire des représentations de codec audio neuronal.
Décoder le son : Convertir les représentations générées en son audible à l'aide d'un codec audio neuronal.
Cas d'utilisation de SoundStorm
- Synthèse de dialogue
- Clonage vocal
- Génération audio rapide
- Synthèse vocale
- Création de contenu audio
- Outils d'accessibilité
- Accélération de la recherche
