AudioGen

潜在拡散モデルを活用したテキストからオーディオへの生成フレームワークです。様々なモダリティを統一された「オーディオ言語（LOA）」に変換し、音声、音楽、効果音を生成します。このアプローチにより、インコンテキスト学習が可能になり、自己教師あり事前学習済みモデルを活用して多様なオーディオ作成を実現します。AudioLDMは、潜在拡散モデルを活用したテキストからオーディオへの生成フレームワークです。様々なモダリティを統一された「オーディオ言語（LOA）」に変換し、音声、音楽、効果音を生成します。このアプローチにより、インコンテキスト学習が可能になり、自己教師あり事前学習済みモデルを活用して多様なオーディオ作成を実現します。

効率的で非自己回帰的なオーディオ生成のためのAIモデルです。高品質なオーディオを従来の数百分の一の速度で生成し、音声と音響条件の一貫性を維持します。話される内容、話者の声、話者のターンを制御して、自然な対話セグメントを合成できます。SoundStormは、効率的で非自己回帰的なオーディオ生成のためのAIモデルです。高品質なオーディオを従来の数百分の一の速度で生成し、音声と音響条件の一貫性を維持します。話される内容、話者の声、話者のターンを制御して、自然な対話セグメントを合成できます。

プロンプト拡張拡散モデルを採用したテキストから音声への生成システムです。疑似プロンプト拡張とスペクトログラムオートエンコーダーを使用して、データの希少性と音声の複雑性に対処します。このシステムは最先端の結果を達成し、様々な入力から高解像度で忠実度の高い音声を生成するための制御性を提供します。Make-An-Audioは、プロンプト拡張拡散モデルを採用したテキストから音声への生成システムです。疑似プロンプト拡張とスペクトログラムオートエンコーダーを使用して、データの希少性と音声の複雑性に対処します。このシステムは最先端の結果を達成し、様々な入力から高解像度で忠実度の高い音声を生成するための制御性を提供します。

Audiocraft

AI GitHub リポジトリ

オーディオ生成および処理のためのPyTorchライブラリです。制御可能な音楽生成のためのMusicGenや、テキストからサウンドへのAudioGenなどの最先端モデルを提供します。このライブラリには、オーディオ圧縮器であるEnCodecと、研究用のトレーニングコードも含まれています。Audiocraftは、オーディオ生成および処理のためのPyTorchライブラリです。制御可能な音楽生成のためのMusicGenや、テキストからサウンドへのAudioGenなどの最先端モデルを提供します。このライブラリには、オーディオ圧縮器であるEnCodecと、研究用のトレーニングコードも含まれています。

長期的な一貫性を持つ高品質なオーディオを生成するAIモデルです。オーディオ生成を言語モデリングタスクとして扱い、オーディオを離散トークンにマッピングします。このフレームワークは、未知のスピーカーやスタイルに対しても、音声や音楽の自然で一貫性のある継続を生成することに優れています。AudioLMは、長期的な一貫性を持つ高品質なオーディオを生成するAIモデルです。オーディオ生成を言語モデリングタスクとして扱い、オーディオを離散トークンにマッピングします。このフレームワークは、未知のスピーカーやスタイルに対しても、音声や音楽の自然で一貫性のある継続を生成することに優れています。

効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。HiFi-GANは、効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。

Voicebox

AI GitHub リポジトリ

ユーザーが音声プロジェクトをクローン、音声入力、作成できるオープンソースのAI音声スタジオです。音声合成と操作のためのプラットフォームを提供し、開発者や音響エンジニアに最適です。Voiceboxは、ユーザーが音声プロジェクトをクローン、音声入力、作成できるオープンソースのAI音声スタジオです。音声合成と操作のためのプラットフォームを提供し、開発者や音響エンジニアに最適です。

テキストの説明から高忠実度の音楽を生成するAIモデルです。最大24kHzの音楽を数分間一貫して生成でき、オーディオ品質とテキストへの忠実度において従来のシステムを上回ります。メロディーによる条件付けもサポートしています。MusicLMは、テキストの説明から高忠実度の音楽を生成するAIモデルです。最大24kHzの音楽を数分間一貫して生成でき、オーディオ品質とテキストへの忠実度において従来のシステムを上回ります。メロディーによる条件付けもサポートしています。