AudioLDM

説明的なテキストキャプションに基づいてオーディオサンプルを作成する自己回帰型生成AIモデルです。ソースの分離、実世界のノイズの処理、テキストアノテーションの不足といったオーディオ生成における課題に対処します。このモデルは、高忠実度の出力を実現するために、学習済みの離散オーディオ表現上で動作します。AudioGenは、説明的なテキストキャプションに基づいてオーディオサンプルを作成する自己回帰型生成AIモデルです。ソースの分離、実世界のノイズの処理、テキストアノテーションの不足といったオーディオ生成における課題に対処します。このモデルは、高忠実度の出力を実現するために、学習済みの離散オーディオ表現上で動作します。

プロンプト拡張拡散モデルを採用したテキストから音声への生成システムです。疑似プロンプト拡張とスペクトログラムオートエンコーダーを使用して、データの希少性と音声の複雑性に対処します。このシステムは最先端の結果を達成し、様々な入力から高解像度で忠実度の高い音声を生成するための制御性を提供します。Make-An-Audioは、プロンプト拡張拡散モデルを採用したテキストから音声への生成システムです。疑似プロンプト拡張とスペクトログラムオートエンコーダーを使用して、データの希少性と音声の複雑性に対処します。このシステムは最先端の結果を達成し、様々な入力から高解像度で忠実度の高い音声を生成するための制御性を提供します。

Voicebox

AI GitHub リポジトリ

ユーザーが音声プロジェクトをクローン、音声入力、作成できるオープンソースのAI音声スタジオです。音声合成と操作のためのプラットフォームを提供し、開発者や音響エンジニアに最適です。Voiceboxは、ユーザーが音声プロジェクトをクローン、音声入力、作成できるオープンソースのAI音声スタジオです。音声合成と操作のためのプラットフォームを提供し、開発者や音響エンジニアに最適です。

長期的な一貫性を持つ高品質なオーディオを生成するAIモデルです。オーディオ生成を言語モデリングタスクとして扱い、オーディオを離散トークンにマッピングします。このフレームワークは、未知のスピーカーやスタイルに対しても、音声や音楽の自然で一貫性のある継続を生成することに優れています。AudioLMは、長期的な一貫性を持つ高品質なオーディオを生成するAIモデルです。オーディオ生成を言語モデリングタスクとして扱い、オーディオを離散トークンにマッピングします。このフレームワークは、未知のスピーカーやスタイルに対しても、音声や音楽の自然で一貫性のある継続を生成することに優れています。

Audiocraft

AI GitHub リポジトリ

オーディオ生成および処理のためのPyTorchライブラリです。制御可能な音楽生成のためのMusicGenや、テキストからサウンドへのAudioGenなどの最先端モデルを提供します。このライブラリには、オーディオ圧縮器であるEnCodecと、研究用のトレーニングコードも含まれています。Audiocraftは、オーディオ生成および処理のためのPyTorchライブラリです。制御可能な音楽生成のためのMusicGenや、テキストからサウンドへのAudioGenなどの最先端モデルを提供します。このライブラリには、オーディオ圧縮器であるEnCodecと、研究用のトレーニングコードも含まれています。

汎用的な拡散モデルであるDiffWaveを搭載した音声合成デモをご覧ください。このリソースは、ニューラルボコーダー、クラス条件付き生成、無条件波形生成、音声ノイズ除去の機能を紹介します。様々なデータセットや条件におけるモデルのパフォーマンスに関する音声サンプルと洞察を提供し、その柔軟性を強調しています。

セサミCSM — スピーチ生成モデル

AI モデル

テキストと音声入力からオーディオコードを生成する会話型スピーチモデルです。Llamaバックボーンを利用しており、研究および教育目的のために設計されており、AI技術の責任ある使用を促進します。セサミCSMは、テキストと音声入力からオーディオコードを生成する会話型スピーチモデルです。Llamaバックボーンを利用しており、研究および教育目的のために設計されており、AI技術の責任ある使用を促進します。

効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。HiFi-GANは、効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。