跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Audiocraft

Audiocraft 是一个用于深度学习音频生成和处理的 PyTorch 库。它提供了像 MusicGen(用于可控音乐生成)和 AudioGen(用于文本到声音)这样的最先进模型。该库还包含 EnCodec 音频压缩器和用于研究的训练代码。

查看仓库
分享
查看仓库
分享

Audiocraft 是一个全面的 PyTorch 库,专为深度学习音频生成和处理研究而设计。由 Meta AI 开发,它为研究人员和开发人员提供了创建高质量音频内容所需的工具和模型。该库提供了几个最先进的 AI 生成模型的推理和训练代码。

阅读更多

其核心是 Audiocraft 包含 MusicGen,一个强大且可控的文本到音乐模型,允许用户根据文本描述和旋律条件生成音乐。与之相辅相成的是 AudioGen,一个文本到声音模型,能够根据文本提示生成逼真的音频效果。该库还集成了 EnCodec,一个尖端的神经音频编解码器,用作音频数据的高保真压缩器和分词器。

除了这些核心生成模型,Audiocraft 还集成了其他高级组件,例如 Multi Band Diffusion,一个利用扩散模型的 EnCodec 兼容解码器,以及 MAGNeT,一个用于文本到音乐和文本到声音生成的非自回归模型。为了音频安全,它包含了 AudioSeal,一个最先进的音频水印解决方案。此外,MusicGen Style 提供文本和风格到音乐的生成,而 JASCO 则提供基于和弦、旋律和鼓点的高质量文本到音乐生成。

该库专为深度学习研究而构建,提供用于开发新音频生成技术的训练管道和组件。它支持各种安装方法,包括稳定版本和直接从 GitHub 获取的最新版本。Audiocraft 的代码根据 MIT 许可证发布,模型权重根据 CC-BY-NC 4.0 许可证提供,鼓励研究和负责任的使用。

Audiocraft 面向对探索 AI 驱动的音频创作前沿感兴趣的 AI 研究人员、音频工程师、音乐技术专家和开发人员。其模块化设计和训练代码的包含使其成为推进生成音频领域的宝贵资源。该项目积极维护其代码库,并获得社区的定期更新和贡献。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 基于 PyTorch 的音频生成库

  • 包含用于文本到音乐生成的 MusicGen

  • 提供用于文本到声音生成的 AudioGen

  • 集成 EnCodec 音频压缩器/分词器

  • 提供生成模型的训练代码

  • 支持 Multi Band Diffusion 解码器

  • 包含用于非自回归音频生成的 MAGNeT

  • 提供 AudioSeal 进行音频水印

  • 支持 MusicGen Style 进行文本和风格到音乐生成

  • 包含 JASCO 用于基于和弦/旋律/鼓点的音乐生成

  • 最先进的 AI 生成模型

  1. 克隆仓库:从 GitHub 获取 Audiocraft 代码。

  2. 安装依赖项:设置 Python 3.9 和 PyTorch 2.1.0,然后使用 pip 安装 Audiocraft。

  3. 配置模型:下载预训练模型或设置自定义配置。

  4. 集成 API:在您的 PyTorch 项目中使用 Audiocraft 库。

  5. 训练模型:使用提供的训练管道进行自定义音频生成研究。

  6. 执行推理:使用 MusicGen、AudioGen 或其他包含的模型生成音频。

  • 音乐生成
  • 音效生成
  • 音频压缩
  • 音频水印
  • 深度学习研究
  • 内容创作
  • 交互式音频
  • 音乐风格迁移

Meta 旗下产品

Audiocraft 评价

加载中...

与 Audiocraft 类似的热门AI工具

MusicGen Large 是由 Meta AI 开发的文本到音乐模型,能够根据文本描述或音频提示生成高质量的音乐样本。它使用单阶段自回归 Transformer 模型进行高效的音乐生成。

AI 模型与大语言模型媒体与娱乐
查看工具

由 Meta AI 开发的文本到音乐模型,能够根据文本描述或音频提示生成高质量的音乐样本。它使用单阶段自回归 Transformer 模型进行高效的音乐生成。MusicGen Large 是由 Meta AI 开发的文本到音乐模型,能够根据文本描述或音频提示生成高质量的音乐样本。它使用单阶段自回归 Transformer 模型进行高效的音乐生成。

AI 模型与大语言模型媒体与娱乐
查看 AI 模型 Top 5

AudioGen

AI 模型

AudioGen 是一个自回归生成式 AI 模型,可根据描述性文本标题创建音频样本。它解决了音频生成中的挑战,例如分离声源、处理现实世界噪声以及文本标注稀缺的问题。该模型在学习到的离散音频表示上运行,以实现高保真输出。

AI 模型与大语言模型
查看工具

AI 模型

自回归生成式 AI 模型,可根据描述性文本标题创建音频样本。它解决了音频生成中的挑战,例如分离声源、处理现实世界噪声以及文本标注稀缺的问题。该模型在学习到的离散音频表示上运行,以实现高保真输出。AudioGen 是一个自回归生成式 AI 模型,可根据描述性文本标题创建音频样本。它解决了音频生成中的挑战,例如分离声源、处理现实世界噪声以及文本标注稀缺的问题。该模型在学习到的离散音频表示上运行,以实现高保真输出。

AI 模型与大语言模型
查看 AI 模型 Top 5

Jukebox 是一个神经网络,可以生成包括初步人声在内的原始音频音乐。它可以创作各种流派和艺术家风格的音乐,为人工智能驱动的音乐创作提供了一种新颖的方法。模型权重和代码已发布,并附带一个用于探索生成样本的工具。

AI 音乐生成器
查看工具

神经网络,可以生成包括初步人声在内的原始音频音乐。它可以创作各种流派和艺术家风格的音乐,为人工智能驱动的音乐创作提供了一种新颖的方法。模型权重和代码已发布,并附带一个用于探索生成样本的工具。Jukebox 是一个神经网络,可以生成包括初步人声在内的原始音频音乐。它可以创作各种流派和艺术家风格的音乐,为人工智能驱动的音乐创作提供了一种新颖的方法。模型权重和代码已发布,并附带一个用于探索生成样本的工具。

AI 音乐生成器
查看 AI 模型 Top 5

AudioLDM

AI 模型

AudioLDM 是一个利用潜在扩散模型进行文本到音频生成的框架。它将各种模态转换为统一的“音频语言”(LOA),用于生成语音、音乐和音效。这种方法支持上下文学习,并利用自监督预训练模型进行多功能音频创作。

AI 模型与大语言模型
查看工具

AI 模型

利用潜在扩散模型进行文本到音频生成的框架。它将各种模态转换为统一的“音频语言”(LOA),用于生成语音、音乐和音效。这种方法支持上下文学习,并利用自监督预训练模型进行多功能音频创作。AudioLDM 是一个利用潜在扩散模型进行文本到音频生成的框架。它将各种模态转换为统一的“音频语言”(LOA),用于生成语音、音乐和音效。这种方法支持上下文学习,并利用自监督预训练模型进行多功能音频创作。

AI 模型与大语言模型
查看 AI 模型 Top 5

SoundStorm

AI 模型

SoundStorm 是一款用于高效非自回归音频生成的 AI 模型。它能以比以往方法快两个数量级的速度生成高质量音频,同时保持语音和声学条件的一致性。它能够合成自然的对话片段,并可控制语音内容、说话人声音和说话人轮次。

AI 模型与大语言模型
查看工具

AI 模型

用于高效非自回归音频生成的 AI 模型。它能以比以往方法快两个数量级的速度生成高质量音频,同时保持语音和声学条件的一致性。它能够合成自然的对话片段,并可控制语音内容、说话人声音和说话人轮次。SoundStorm 是一款用于高效非自回归音频生成的 AI 模型。它能以比以往方法快两个数量级的速度生成高质量音频,同时保持语音和声学条件的一致性。它能够合成自然的对话片段,并可控制语音内容、说话人声音和说话人轮次。

AI 模型与大语言模型
查看 AI 模型 Top 5

Lyria 3.5 是 Google DeepMind 开发的先进音乐生成模型,帮助用户轻松创作歌曲。它提供技术控制和在各种流派中创作曲目的能力,使音乐创作变得可及且富有创新性。

AI 模型与大语言模型
查看工具

Lyria 3.5 是 Google DeepMind 开发的先进音乐生成模型,帮助用户轻松创作歌曲。它提供技术控制和在各种流派中创作曲目的能力,使音乐创作变得可及且富有创新性。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

扩散模型

AI GitHub 仓库

扩散模型是Hugging Face在GitHub上的一个项目,提供用于生成图像、视频和音频的最先进的扩散模型,使用PyTorch实现。该项目旨在为对高级AI模型实现感兴趣的开发者和研究人员提供支持。

机器学习与数据科学
查看工具

AI GitHub 仓库

Hugging Face在GitHub上的一个项目,提供用于生成图像、视频和音频的最先进的扩散模型,使用PyTorch实现。该项目旨在为对高级AI模型实现感兴趣的开发者和研究人员提供支持。扩散模型是Hugging Face在GitHub上的一个项目,提供用于生成图像、视频和音频的最先进的扩散模型,使用PyTorch实现。该项目旨在为对高级AI模型实现感兴趣的开发者和研究人员提供支持。

机器学习与数据科学
查看 AI GitHub 仓库 Top 250

AudioLM

AI 模型

AudioLM 是一个能够生成高质量、具有长期一致性的音频的 AI 模型。它将音频生成视为一项语言建模任务,将音频映射到离散的 token。该框架在生成自然连贯的语音和音乐续写方面表现出色,即使是针对未曾见过的说话人或风格。

AI 模型与大语言模型
查看工具

AI 模型

能够生成高质量、具有长期一致性的音频的 AI 模型。它将音频生成视为一项语言建模任务,将音频映射到离散的 token。该框架在生成自然连贯的语音和音乐续写方面表现出色,即使是针对未曾见过的说话人或风格。AudioLM 是一个能够生成高质量、具有长期一致性的音频的 AI 模型。它将音频生成视为一项语言建模任务,将音频映射到离散的 token。该框架在生成自然连贯的语音和音乐续写方面表现出色,即使是针对未曾见过的说话人或风格。

AI 模型与大语言模型
查看 AI 模型 Top 5
1/8