Démonstrations de Synthèse Audio DiffWave

La section I se concentre sur le vocodage neuronal à l'aide de l'ensemble de données LJ Speech. Ici, des échantillons audio sont générés en conditionnant sur des spectrogrammes mel de référence. Des comparaisons sont effectuées entre DiffWave avec différents canaux résiduels (C) et étapes de diffusion (T), aux côtés d'autres modèles comme WaveNet et WaveFlow. Un point fort clé est la capacité d'échantillonnage rapide, où l'audio peut être synthétisé rapidement en utilisant un nombre réduit d'étapes d'inférence (T infer), même lorsque le modèle a été entraîné avec un nombre plus élevé d'étapes de diffusion.

La section II démontre la génération de formes d'onde conditionnelles par classe sur l'ensemble de données SC09, où l'audio est conditionné sur des étiquettes de chiffres (0-9). Cette section fournit des exemples de la manière dont DiffWave peut générer des sons spécifiques basés sur des classes d'entrée, avec des comparaisons avec des enregistrements de référence et WaveNet.

La section III explore la génération de formes d'onde inconditionnelles sur l'ensemble de données SC09, produisant de l'audio sans aucune information de conditionnement spécifique. Les résultats sont présentés avec des étiquettes de chiffres attribuées par des auditeurs humains, démontrant la capacité du modèle à générer de l'audio réaliste de manière non contrainte, contrastée avec les données de référence et WaveGAN.

La section IV approfondit les étapes de débruitage dans le processus de diffusion inverse de DiffWave. Elle montre comment le modèle transforme progressivement le bruit blanc en sons humains sur une série d'étapes (t=200 à t=0), illustrant le raffinement progressif de la qualité audio. Cette section inclut un avertissement concernant des volumes potentiellement élevés.

La section V introduit le débruitage de parole zero-shot, une capacité inattendue découverte avec le modèle DiffWave inconditionnel. Même sans entraînement spécifique au débruitage, le modèle élimine efficacement divers types de bruit (blanc, rose, robinet qui coule, etc.) des entrées audio bruitées, démontrant un fort a priori appris sur les caractéristiques audio.

Enfin, la section VI présente les capacités d'interpolation avec le modèle DiffWave conditionné par des chiffres sur l'ensemble de données SC09. Cela permet des transitions fluides entre différents échantillons audio, comme des voix entre deux locuteurs, en interpolant dans l'espace latent. Les exemples illustrent différents degrés de poids d'interpolation.