メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

Audiocraft

AI GitHub リポジトリAIモデルとLLMオープンソース · Web

Audiocraftは、オーディオ生成および処理のためのPyTorchライブラリです。制御可能な音楽生成のためのMusicGenや、テキストからサウンドへのAudioGenなどの最先端モデルを提供します。このライブラリには、オーディオ圧縮器であるEnCodecと、研究用のトレーニングコードも含まれています。

リポジトリを見る
共有
リポジトリを見る
共有

Audiocraftは、オーディオ生成および処理における深層学習研究のための包括的なPyTorchライブラリです。Meta AIによって開発され、研究者や開発者に高品質なオーディオコンテンツを作成するために必要なツールとモデルを提供します。このライブラリは、いくつかの最先端のAI生成モデルの推論およびトレーニングコードを備えています。

続きを読む

Audiocraftの中核には、テキストの説明とメロディックな条件付けに基づいて音楽を生成できる、強力で制御可能なテキストから音楽へのモデルであるMusicGenが含まれています。これを補完するのが、テキストプロンプトからリアルなオーディオエフェクトを生成できるテキストからサウンドへのモデルであるAudioGenです。このライブラリには、オーディオデータの高忠実度圧縮器およびトークナイザーとして機能する最先端のニューラルオーディオコーデックであるEnCodecも組み込まれています。

これらのコア生成モデルに加えて、Audiocraftは、拡散モデルを利用するEnCodec互換デコーダーであるMulti Band Diffusionや、テキストから音楽およびテキストからサウンド生成の両方に対応する非回帰モデルであるMAGNeTなどの他の高度なコンポーネントを統合しています。オーディオセキュリティのために、最先端のオーディオウォーターマーキングソリューションであるAudioSealが含まれています。さらに、MusicGen Styleはテキストとスタイルから音楽への生成を提供し、JASCOはコード、メロディ、ドラムトラックで条件付けられた高品質なテキストから音楽への生成を提供します。

このライブラリは深層学習研究のために構築されており、新しいオーディオ生成技術を開発するためのトレーニングパイプラインとコンポーネントを提供します。安定版リリースやGitHubからの最新バージョンなど、さまざまなインストール方法をサポートしています。Audiocraftは、そのコードに対してMITライセンスの下でリリースされており、モデルの重みはCC-BY-NC 4.0ライセンスの下で利用可能であり、研究と責任ある使用の両方を奨励しています。

Audiocraftは、AI研究者、オーディオエンジニア、音楽技術者、およびAI駆動のオーディオ作成の最前線を探索することに関心のある開発者を対象としています。そのモジュラー設計とトレーニングコードの包含は、生成オーディオの分野を進歩させるための貴重なリソースとなっています。このプロジェクトは、コミュニティからの定期的な更新と貢献により、コードベースを積極的に維持しています。

  • カテゴリーAIモデルとLLM
  • 料金モデルオープンソース
  • デプロイクラウド
  • プラットフォームWeb

  • オーディオ生成のためのPyTorchベースのライブラリ

  • テキストから音楽への生成のためのMusicGenを含む

  • テキストからサウンドへの生成のためのAudioGenを特徴とする

  • EnCodecオーディオ圧縮器/トークナイザーを統合

  • 生成モデルのためのトレーニングコードを提供する

  • Multi Band Diffusionデコーダーをサポート

  • 非回帰オーディオ生成のためのMAGNeTを含む

  • オーディオウォーターマーキングのためのAudioSealを提供する

  • テキストとスタイルから音楽への生成のためのMusicGen Styleをサポート

  • コード/メロディ/ドラム条件付き音楽生成のためのJASCOを含む

  • 最先端のAI生成モデル

  1. リポジトリをクローンする: GitHubからAudiocraftコードを取得します。

  2. 依存関係をインストールする: Python 3.9とPyTorch 2.1.0を設定し、pipを使用してAudiocraftをインストールします。

  3. モデルを設定する: 事前トレーニング済みのモデルをダウンロードするか、カスタム設定をセットアップします。

  4. APIを統合する: PyTorchプロジェクト内でAudiocraftライブラリを利用します。

  5. モデルをトレーニングする: 提供されているトレーニングパイプラインを使用して、カスタムオーディオ生成研究を行います。

  6. 推論を実行する: MusicGen、AudioGen、またはその他の含まれるモデルを使用してオーディオを生成します。

  • 音楽生成
  • 効果音生成
  • オーディオ圧縮
  • オーディオウォーターマーキング
  • 深層学習研究
  • コンテンツ作成
  • インタラクティブオーディオ
  • 音楽スタイル転送

Audiocraft に似た人気のAIツール

MusicGen Large

AI モデル

MusicGen Largeは、Meta AIによって開発されたテキストから音楽を生成するモデルで、テキストの説明や音声のプロンプトに基づいて高品質な音楽サンプルを生成することができます。効率的な音楽生成のために、単一段階の自己回帰型トランスフォーマーモデルを使用しています。

AIモデルとLLMメディア・エンターテインメント
ツールを見る

AI モデル

Meta AIによって開発されたテキストから音楽を生成するモデルで、テキストの説明や音声のプロンプトに基づいて高品質な音楽サンプルを生成することができます。効率的な音楽生成のために、単一段階の自己回帰型トランスフォーマーモデルを使用しています。MusicGen Largeは、Meta AIによって開発されたテキストから音楽を生成するモデルで、テキストの説明や音声のプロンプトに基づいて高品質な音楽サンプルを生成することができます。効率的な音楽生成のために、単一段階の自己回帰型トランスフォーマーモデルを使用しています。

AIモデルとLLMメディア・エンターテインメント
AI モデル トップ5を見る

AudioGen

AI モデル

AudioGenは、説明的なテキストキャプションに基づいてオーディオサンプルを作成する自己回帰型生成AIモデルです。ソースの分離、実世界のノイズの処理、テキストアノテーションの不足といったオーディオ生成における課題に対処します。このモデルは、高忠実度の出力を実現するために、学習済みの離散オーディオ表現上で動作します。

AIモデルとLLM
ツールを見る

AI モデル

説明的なテキストキャプションに基づいてオーディオサンプルを作成する自己回帰型生成AIモデルです。ソースの分離、実世界のノイズの処理、テキストアノテーションの不足といったオーディオ生成における課題に対処します。このモデルは、高忠実度の出力を実現するために、学習済みの離散オーディオ表現上で動作します。AudioGenは、説明的なテキストキャプションに基づいてオーディオサンプルを作成する自己回帰型生成AIモデルです。ソースの分離、実世界のノイズの処理、テキストアノテーションの不足といったオーディオ生成における課題に対処します。このモデルは、高忠実度の出力を実現するために、学習済みの離散オーディオ表現上で動作します。

AIモデルとLLM
AI モデル トップ5を見る

Jukebox | OpenAI

AI モデル

Jukeboxは、生のオーディオとして、初歩的な歌声を含む音楽を生成するニューラルネットワークです。様々なジャンルやアーティストのスタイルで楽曲を生成でき、AIによる音楽制作に新しいアプローチを提供します。モデルの重みとコード、生成されたサンプルを探索するためのツールが公開されています。

AI音楽ジェネレーター
ツールを見る

AI モデル

生のオーディオとして、初歩的な歌声を含む音楽を生成するニューラルネットワークです。様々なジャンルやアーティストのスタイルで楽曲を生成でき、AIによる音楽制作に新しいアプローチを提供します。モデルの重みとコード、生成されたサンプルを探索するためのツールが公開されています。Jukeboxは、生のオーディオとして、初歩的な歌声を含む音楽を生成するニューラルネットワークです。様々なジャンルやアーティストのスタイルで楽曲を生成でき、AIによる音楽制作に新しいアプローチを提供します。モデルの重みとコード、生成されたサンプルを探索するためのツールが公開されています。

AI音楽ジェネレーター
AI モデル トップ5を見る

AudioLDM

AI モデル

AudioLDMは、潜在拡散モデルを活用したテキストからオーディオへの生成フレームワークです。様々なモダリティを統一された「オーディオ言語(LOA)」に変換し、音声、音楽、効果音を生成します。このアプローチにより、インコンテキスト学習が可能になり、自己教師あり事前学習済みモデルを活用して多様なオーディオ作成を実現します。

AIモデルとLLM
ツールを見る

AI モデル

潜在拡散モデルを活用したテキストからオーディオへの生成フレームワークです。様々なモダリティを統一された「オーディオ言語(LOA)」に変換し、音声、音楽、効果音を生成します。このアプローチにより、インコンテキスト学習が可能になり、自己教師あり事前学習済みモデルを活用して多様なオーディオ作成を実現します。AudioLDMは、潜在拡散モデルを活用したテキストからオーディオへの生成フレームワークです。様々なモダリティを統一された「オーディオ言語(LOA)」に変換し、音声、音楽、効果音を生成します。このアプローチにより、インコンテキスト学習が可能になり、自己教師あり事前学習済みモデルを活用して多様なオーディオ作成を実現します。

AIモデルとLLM
AI モデル トップ5を見る

SoundStorm

AI モデル

SoundStormは、効率的で非自己回帰的なオーディオ生成のためのAIモデルです。高品質なオーディオを従来の数百分の一の速度で生成し、音声と音響条件の一貫性を維持します。話される内容、話者の声、話者のターンを制御して、自然な対話セグメントを合成できます。

AIモデルとLLM
ツールを見る

AI モデル

効率的で非自己回帰的なオーディオ生成のためのAIモデルです。高品質なオーディオを従来の数百分の一の速度で生成し、音声と音響条件の一貫性を維持します。話される内容、話者の声、話者のターンを制御して、自然な対話セグメントを合成できます。SoundStormは、効率的で非自己回帰的なオーディオ生成のためのAIモデルです。高品質なオーディオを従来の数百分の一の速度で生成し、音声と音響条件の一貫性を維持します。話される内容、話者の声、話者のターンを制御して、自然な対話セグメントを合成できます。

AIモデルとLLM
AI モデル トップ5を見る

Lyria 3.5は、Google DeepMindによる高度な音楽生成モデルで、ユーザーが簡単に曲を作曲できるよう支援します。技術的なコントロールを提供し、さまざまなジャンルのトラックを作成できるため、音楽制作がアクセスしやすく革新的になります。

AIモデルとLLM
ツールを見る

Lyria 3.5は、Google DeepMindによる高度な音楽生成モデルで、ユーザーが簡単に曲を作曲できるよう支援します。技術的なコントロールを提供し、さまざまなジャンルのトラックを作成できるため、音楽制作がアクセスしやすく革新的になります。

注目AIモデルとLLM
AI モデル トップ5を見る

ディフューザー

AI GitHub リポジトリ

ディフューザーは、Hugging FaceによるGitHubプロジェクトで、PyTorchを使用して画像、動画、音声を生成するための最先端の拡散モデルを提供します。これは、高度なAIモデルの実装に興味のある開発者や研究者向けに設計されています。

機械学習とデータサイエンス
ツールを見る

AI GitHub リポジトリ

Hugging FaceによるGitHubプロジェクトで、PyTorchを使用して画像、動画、音声を生成するための最先端の拡散モデルを提供します。これは、高度なAIモデルの実装に興味のある開発者や研究者向けに設計されています。ディフューザーは、Hugging FaceによるGitHubプロジェクトで、PyTorchを使用して画像、動画、音声を生成するための最先端の拡散モデルを提供します。これは、高度なAIモデルの実装に興味のある開発者や研究者向けに設計されています。

機械学習とデータサイエンス
AI GitHub リポジトリ トップ250を見る

AudioLM

AI モデル

AudioLMは、長期的な一貫性を持つ高品質なオーディオを生成するAIモデルです。オーディオ生成を言語モデリングタスクとして扱い、オーディオを離散トークンにマッピングします。このフレームワークは、未知のスピーカーやスタイルに対しても、音声や音楽の自然で一貫性のある継続を生成することに優れています。

AIモデルとLLM
ツールを見る

AI モデル

長期的な一貫性を持つ高品質なオーディオを生成するAIモデルです。オーディオ生成を言語モデリングタスクとして扱い、オーディオを離散トークンにマッピングします。このフレームワークは、未知のスピーカーやスタイルに対しても、音声や音楽の自然で一貫性のある継続を生成することに優れています。AudioLMは、長期的な一貫性を持つ高品質なオーディオを生成するAIモデルです。オーディオ生成を言語モデリングタスクとして扱い、オーディオを離散トークンにマッピングします。このフレームワークは、未知のスピーカーやスタイルに対しても、音声や音楽の自然で一貫性のある継続を生成することに優れています。

AIモデルとLLM
AI モデル トップ5を見る
1 / 8