DiffWave 音声合成デモ

効率的で非自己回帰的なオーディオ生成のためのAIモデルです。高品質なオーディオを従来の数百分の一の速度で生成し、音声と音響条件の一貫性を維持します。話される内容、話者の声、話者のターンを制御して、自然な対話セグメントを合成できます。SoundStormは、効率的で非自己回帰的なオーディオ生成のためのAIモデルです。高品質なオーディオを従来の数百分の一の速度で生成し、音声と音響条件の一貫性を維持します。話される内容、話者の声、話者のターンを制御して、自然な対話セグメントを合成できます。

効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。HiFi-GANは、効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。

音声品質とトレーニング速度を向上させるエンドツーエンドのテキスト読み上げモデルです。ピッチやエネルギーなどの音声のバリエーション情報を直接組み込むことで、教師蒸留を排除し、より高速で高品質な音声合成を可能にし、以前の非自己回帰モデルを改善しています。FastSpeech 2は、音声品質とトレーニング速度を向上させるエンドツーエンドのテキスト読み上げモデルです。ピッチやエネルギーなどの音声のバリエーション情報を直接組み込むことで、教師蒸留を排除し、より高速で高品質な音声合成を可能にし、以前の非自己回帰モデルを改善しています。

プロンプト拡張拡散モデルを採用したテキストから音声への生成システムです。疑似プロンプト拡張とスペクトログラムオートエンコーダーを使用して、データの希少性と音声の複雑性に対処します。このシステムは最先端の結果を達成し、様々な入力から高解像度で忠実度の高い音声を生成するための制御性を提供します。Make-An-Audioは、プロンプト拡張拡散モデルを採用したテキストから音声への生成システムです。疑似プロンプト拡張とスペクトログラムオートエンコーダーを使用して、データの希少性と音声の複雑性に対処します。このシステムは最先端の結果を達成し、様々な入力から高解像度で忠実度の高い音声を生成するための制御性を提供します。

長期的な一貫性を持つ高品質なオーディオを生成するAIモデルです。オーディオ生成を言語モデリングタスクとして扱い、オーディオを離散トークンにマッピングします。このフレームワークは、未知のスピーカーやスタイルに対しても、音声や音楽の自然で一貫性のある継続を生成することに優れています。AudioLMは、長期的な一貫性を持つ高品質なオーディオを生成するAIモデルです。オーディオ生成を言語モデリングタスクとして扱い、オーディオを離散トークンにマッピングします。このフレームワークは、未知のスピーカーやスタイルに対しても、音声や音楽の自然で一貫性のある継続を生成することに優れています。

これは、Parallel WaveGANおよび関連する音声生成モデルの非公式デモページです。英語、日本語、中国語の各言語で、MelGAN、Multiband-MelGAN、HiFi-GAN、StyleMelGANを含む様々な実装によって生成された音声サンプルを展示しています。生成された音声とグラウンドトゥルースを比較してください。

潜在拡散モデルを活用したテキストからオーディオへの生成フレームワークです。様々なモダリティを統一された「オーディオ言語（LOA）」に変換し、音声、音楽、効果音を生成します。このアプローチにより、インコンテキスト学習が可能になり、自己教師あり事前学習済みモデルを活用して多様なオーディオ作成を実現します。AudioLDMは、潜在拡散モデルを活用したテキストからオーディオへの生成フレームワークです。様々なモダリティを統一された「オーディオ言語（LOA）」に変換し、音声、音楽、効果音を生成します。このアプローチにより、インコンテキスト学習が可能になり、自己教師あり事前学習済みモデルを活用して多様なオーディオ作成を実現します。

Voicebox

AI GitHub リポジトリ

ユーザーが音声プロジェクトをクローン、音声入力、作成できるオープンソースのAI音声スタジオです。音声合成と操作のためのプラットフォームを提供し、開発者や音響エンジニアに最適です。Voiceboxは、ユーザーが音声プロジェクトをクローン、音声入力、作成できるオープンソースのAI音声スタジオです。音声合成と操作のためのプラットフォームを提供し、開発者や音響エンジニアに最適です。