AudioLM

効率的で非自己回帰的なオーディオ生成のためのAIモデルです。高品質なオーディオを従来の数百分の一の速度で生成し、音声と音響条件の一貫性を維持します。話される内容、話者の声、話者のターンを制御して、自然な対話セグメントを合成できます。SoundStormは、効率的で非自己回帰的なオーディオ生成のためのAIモデルです。高品質なオーディオを従来の数百分の一の速度で生成し、音声と音響条件の一貫性を維持します。話される内容、話者の声、話者のターンを制御して、自然な対話セグメントを合成できます。

説明的なテキストキャプションに基づいてオーディオサンプルを作成する自己回帰型生成AIモデルです。ソースの分離、実世界のノイズの処理、テキストアノテーションの不足といったオーディオ生成における課題に対処します。このモデルは、高忠実度の出力を実現するために、学習済みの離散オーディオ表現上で動作します。AudioGenは、説明的なテキストキャプションに基づいてオーディオサンプルを作成する自己回帰型生成AIモデルです。ソースの分離、実世界のノイズの処理、テキストアノテーションの不足といったオーディオ生成における課題に対処します。このモデルは、高忠実度の出力を実現するために、学習済みの離散オーディオ表現上で動作します。

効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。HiFi-GANは、効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。

潜在拡散モデルを活用したテキストからオーディオへの生成フレームワークです。様々なモダリティを統一された「オーディオ言語（LOA）」に変換し、音声、音楽、効果音を生成します。このアプローチにより、インコンテキスト学習が可能になり、自己教師あり事前学習済みモデルを活用して多様なオーディオ作成を実現します。AudioLDMは、潜在拡散モデルを活用したテキストからオーディオへの生成フレームワークです。様々なモダリティを統一された「オーディオ言語（LOA）」に変換し、音声、音楽、効果音を生成します。このアプローチにより、インコンテキスト学習が可能になり、自己教師あり事前学習済みモデルを活用して多様なオーディオ作成を実現します。

汎用的な拡散モデルであるDiffWaveを搭載した音声合成デモをご覧ください。このリソースは、ニューラルボコーダー、クラス条件付き生成、無条件波形生成、音声ノイズ除去の機能を紹介します。様々なデータセットや条件におけるモデルのパフォーマンスに関する音声サンプルと洞察を提供し、その柔軟性を強調しています。

Voicebox

AI GitHub リポジトリ

ユーザーが音声プロジェクトをクローン、音声入力、作成できるオープンソースのAI音声スタジオです。音声合成と操作のためのプラットフォームを提供し、開発者や音響エンジニアに最適です。Voiceboxは、ユーザーが音声プロジェクトをクローン、音声入力、作成できるオープンソースのAI音声スタジオです。音声合成と操作のためのプラットフォームを提供し、開発者や音響エンジニアに最適です。

Jukebox | OpenAI

AI モデル

生のオーディオとして、初歩的な歌声を含む音楽を生成するニューラルネットワークです。様々なジャンルやアーティストのスタイルで楽曲を生成でき、AIによる音楽制作に新しいアプローチを提供します。モデルの重みとコード、生成されたサンプルを探索するためのツールが公開されています。Jukeboxは、生のオーディオとして、初歩的な歌声を含む音楽を生成するニューラルネットワークです。様々なジャンルやアーティストのスタイルで楽曲を生成でき、AIによる音楽制作に新しいアプローチを提供します。モデルの重みとコード、生成されたサンプルを探索するためのツールが公開されています。

Wav2vec 2.0

AI モデル

自動音声認識のための自己教師あり学習アルゴリズムです。生の音声から学習し、高い精度を達成するために最小限の書き起こしデータしか必要としません。これにより、広範なラベル付きデータセットへの依存を減らし、より多くの言語、方言、ドメインでの音声認識が可能になります。Wav2vec 2.0は、自動音声認識のための自己教師あり学習アルゴリズムです。生の音声から学習し、高い精度を達成するために最小限の書き起こしデータしか必要としません。これにより、広範なラベル付きデータセットへの依存を減らし、より多くの言語、方言、ドメインでの音声認識が可能になります。