Description
Make-An-Audio représente une avancée significative dans la génération de texte en audio, exploitant des modèles de diffusion améliorés par des invites pour surmonter des défis tels que la limitation des ensembles de données de haute qualité et la complexité de la modélisation de longues séquences audio. Le système introduit une nouvelle technique d'amélioration de pseudo-invite, utilisant une approche de distillation puis de reprogrammation. Cette méthode atténue efficacement la rareté des données en intégrant des données faiblement supervisées, y compris des audios sans langage.
Lire la suite
De plus, Make-An-Audio utilise un auto-encodeur de spectrogrammes pour prédire des représentations audio auto-supervisées plutôt que des formes d'onde brutes. Ce choix architectural, combiné à de robustes représentations de pré-entraînement contrastif langage-audio (CLAP), permet au modèle d'atteindre des performances de pointe dans les évaluations objectives et subjectives. Le système démontre une contrôlabilité remarquable grâce à la guidance sans classifieur, permettant aux utilisateurs d'affiner les sorties audio générées.
Au-delà de la génération de texte en audio de base, Make-An-Audio présente des capacités de généralisation impressionnantes pour les tâches X-en-Audio, incarnant le principe "Aucune modalité laissée pour compte". Cela permet de générer un audio haute définition et haute fidélité basé sur des entrées de modalité définies par l'utilisateur. Le système prend en charge la génération personnalisée de texte en audio, permettant l'injection d'objets uniques dans de nouvelles scènes et la transformation entre différents styles. Les exemples incluent la génération d'un "bébé qui pleure" à partir d'un son initial de "tonnerre", résultant en un audio réaliste et fidèle. Il prend également en charge l'inpainting audio et la génération d'image en audio, élargissant son potentiel créatif.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de Make-An-Audio
Modèle de diffusion amélioré par des invites pour la génération de texte en audio
Amélioration de pseudo-invite utilisant une approche de distillation puis de reprogrammation
Auto-encodeur de spectrogrammes pour la prédiction de représentations audio
Représentations de pré-entraînement contrastif langage-audio (CLAP)
Guidance sans classifieur pour la contrôlabilité
Généralisation pour les tâches X-en-Audio (par exemple, image en audio, vidéo en audio)
Génération personnalisée de texte en audio avec injection d'objets et transformation de style
Capacités d'inpainting audio
Génère un audio haute définition et haute fidélité
Aborde la rareté des données dans la génération audio
Premiers pas avec Make-An-Audio
Accès au modèle : Obtenez l'accès au modèle Make-An-Audio.
Intégration via API : Connectez-vous à l'API du modèle pour une utilisation programmatique.
Fournir une invite textuelle : Entrez les descriptions textuelles souhaitées pour la génération audio.
Spécifier l'entrée de modalité (facultatif) : Pour X-en-Audio, fournissez l'image ou la vidéo pertinente.
Configurer la guidance : Utilisez la guidance sans classifieur pour affiner les caractéristiques audio.
Générer l'audio : Lancez le processus de génération audio.
Affiner la sortie : Ajustez les paramètres pour des tâches audio personnalisées ou d'inpainting.
Cas d'utilisation de Make-An-Audio
- Synthèse vocale
- Génération d'effets sonores
- Inpainting audio
- Image en audio
- Vidéo en audio
- Contenu audio personnalisé
- Génération de musique
- Recherche en IA
