跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

MT3: 多任务多音轨音乐转录

MT3 是一个基于 T5X 框架构建的多乐器自动音乐转录模型。它使用预训练的钢琴或多乐器音乐检查点,使用户能够转录音频文件。该项目提供了转录资源,并概述了模型训练的潜在步骤。

查看仓库
分享
查看仓库
分享

MT3,即多任务多音轨音乐转录(Multi-Task Multitrack Music Transcription),是 Magenta 项目中开发的一个先进的 AI 模型。它利用 T5X 框架来实现跨多个乐器和音轨的自动音乐转录。该项目并非谷歌官方支持的产品,但为音乐分析和生成提供了强大的功能。

阅读更多

MT3 的主要功能是将音频文件转录为音乐的符号表示。用户可以使用提供的 Colab Notebook 来转录自己的音频。该模型附带预训练的检查点,包括在 ISMIR 2021 会议论文中描述的钢琴转录检查点,以及在 ICLR 2022 会议论文中描述的多乐器转录检查点。

虽然重点是转录,但该项目也涉及模型训练。尽管目前不易直接使用,但感兴趣的用户可以遵循 T5X 的训练说明,并参考 `tasks.py` 中定义的任务来训练自己的 MT3 模型。该仓库包含重要的文件,如 `README.md`、`LICENSE` 和 `CONTRIBUTING.md`,为用户和贡献者提供指导和信息。

MT3 项目托管在 GitHub 上,营造了一个协作式的发展和改进环境。它主要用 Python 编写,其中很大一部分也使用 Jupyter Notebook,这反映了其研究和开发性质。该项目旨在通过为研究人员和音乐家提供一个强大而通用的工具,来推动自动音乐转录领域的发展。

  • 类别AI 音频编辑器
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 多乐器自动音乐转录模型

  • 基于 T5X 框架构建

  • 支持多音轨音乐转录

  • 利用预训练检查点

  • 包含用于音频转录的 Colab Notebook

  • 提供钢琴转录检查点(ISMIR 2021)

  • 提供多乐器转录检查点(ICLR 2022)

  • 通过 T5X 说明提供模型训练资源

  • 托管在 GitHub 上的开源项目

  1. 克隆:从 GitHub 获取 MT3 仓库。

  2. 安装:设置 T5X 框架所需的依赖项。

  3. 配置:准备您的音频文件并选择一个预训练的检查点。

  4. 执行:运行提供的 Colab Notebook 来转录您的音频。

  5. 训练(可选):遵循 T5X 训练说明和任务定义进行自定义模型训练。

  • 音频转符号音乐
  • 多乐器转录
  • 音乐分析
  • 音乐 AI 研究
  • 自定义模型训练

MT3: 多任务多音轨音乐转录 评价

加载中...

与 MT3: 多任务多音轨音乐转录 类似的热门AI工具

AudioShake

AI 应用

AudioShake 是一款由 AI 驱动的工具,专为音乐专业人士设计。它允许用户上传音频文件并提取独立的音轨,包括人声、贝斯和鼓。此功能对于同步授权、采样、母带处理、混音和重新构想现有音乐曲目至关重要,提供了快速便捷的访问歌曲组成部分的方式。

AI 音频编辑器媒体与娱乐

分离音乐中的人声 排名第 22 位

查看工具

AI 应用

由 AI 驱动的工具,专为音乐专业人士设计。它允许用户上传音频文件并提取独立的音轨,包括人声、贝斯和鼓。此功能对于同步授权、采样、母带处理、混音和重新构想现有音乐曲目至关重要,提供了快速便捷的访问歌曲组成部分的方式。AudioShake 是一款由 AI 驱动的工具,专为音乐专业人士设计。它允许用户上传音频文件并提取独立的音轨,包括人声、贝斯和鼓。此功能对于同步授权、采样、母带处理、混音和重新构想现有音乐曲目至关重要,提供了快速便捷的访问歌曲组成部分的方式。

精选AI 音频编辑器媒体与娱乐
分离音乐中的人声 排名第 22 位

Audiocraft

AI GitHub 仓库

Audiocraft 是一个用于深度学习音频生成和处理的 PyTorch 库。它提供了像 MusicGen(用于可控音乐生成)和 AudioGen(用于文本到声音)这样的最先进模型。该库还包含 EnCodec 音频压缩器和用于研究的训练代码。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

用于深度学习音频生成和处理的 PyTorch 库。它提供了像 MusicGen(用于可控音乐生成)和 AudioGen(用于文本到声音)这样的最先进模型。该库还包含 EnCodec 音频压缩器和用于研究的训练代码。Audiocraft 是一个用于深度学习音频生成和处理的 PyTorch 库。它提供了像 MusicGen(用于可控音乐生成)和 AudioGen(用于文本到声音)这样的最先进模型。该库还包含 EnCodec 音频压缩器和用于研究的训练代码。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

OpenAI Whisper

AI GitHub 仓库

Whisper 是 OpenAI 开发的一个强大、通用的语音识别模型。它在多语言语音识别、语音翻译和语言识别方面表现出色。通过在多样化的音频数据上进行训练,它提供了一个单一模型来处理各种语音处理任务,用统一的序列到序列方法取代了传统的多阶段流水线。

AI 转录工具
查看工具

AI GitHub 仓库

Whisper 是 OpenAI 开发的一个强大、通用的语音识别模型。它在多语言语音识别、语音翻译和语言识别方面表现出色。通过在多样化的音频数据上进行训练,它提供了一个单一模型来处理各种语音处理任务,用统一的序列到序列方法取代了传统的多阶段流水线。

精选AI 转录工具
查看 AI GitHub 仓库 Top 250

Splitter.ai

AI 应用

Splitter.ai 提供先进的 AI 音频处理,包括音乐中的音轨分离。全球数百万用户使用它,为制作人、艺术家和工程师提供免费和付费服务。利用强大的机器学习技术,增强您的音乐制作和分析音频工作流程。

AI 音频编辑器媒体与娱乐

分离音乐中的人声 排名第 10 位

查看工具

AI 应用

提供先进的 AI 音频处理,包括音乐中的音轨分离。全球数百万用户使用它,为制作人、艺术家和工程师提供免费和付费服务。利用强大的机器学习技术,增强您的音乐制作和分析音频工作流程。Splitter.ai 提供先进的 AI 音频处理,包括音乐中的音轨分离。全球数百万用户使用它,为制作人、艺术家和工程师提供免费和付费服务。利用强大的机器学习技术,增强您的音乐制作和分析音频工作流程。

AI 音频编辑器媒体与娱乐
分离音乐中的人声 排名第 10 位

LANDR 提供人工智能驱动的音乐母带处理、全球超过 150 个平台的发行服务、海量免版税采样库以及超过 70 款专业插件。它还提供在线音乐课程和协作工具,赋能音乐人专业地创作、母带处理和发行他们的音乐。

AI 音乐生成器媒体与娱乐

AI 应用 排名第 127 位

查看工具

提供人工智能驱动的音乐母带处理、全球超过 150 个平台的发行服务、海量免版税采样库以及超过 70 款专业插件。它还提供在线音乐课程和协作工具,赋能音乐人专业地创作、母带处理和发行他们的音乐。LANDR 提供人工智能驱动的音乐母带处理、全球超过 150 个平台的发行服务、海量免版税采样库以及超过 70 款专业插件。它还提供在线音乐课程和协作工具,赋能音乐人专业地创作、母带处理和发行他们的音乐。

精选AI 音乐生成器媒体与娱乐
AI 应用 排名第 127 位

Moises App

AI 应用

Moises 是一款由 AI 驱动的创意套件,为音乐人提供练习、表演和制作音乐的工具。主要功能包括人声消除、音轨分离和 AI 生成的人声部分。它旨在帮助各级艺术家提升他们的音乐工作流程和创造力。

AI 音频编辑器媒体与娱乐

AI 应用 排名第 110 位

查看工具

AI 应用

由 AI 驱动的创意套件,为音乐人提供练习、表演和制作音乐的工具。主要功能包括人声消除、音轨分离和 AI 生成的人声部分。它旨在帮助各级艺术家提升他们的音乐工作流程和创造力。Moises 是一款由 AI 驱动的创意套件,为音乐人提供练习、表演和制作音乐的工具。主要功能包括人声消除、音轨分离和 AI 生成的人声部分。它旨在帮助各级艺术家提升他们的音乐工作流程和创造力。

精选AI 音频编辑器媒体与娱乐
AI 应用 排名第 110 位

NotePerformer 5 增强了 Sibelius、Dorico 和 Finale 的逼真回放效果。深受超过 50,000 名音乐家的信赖,它提供智能的音乐乐句处理、完整的管弦乐音色库以及简单的安装。体验自然的音乐性,无需复杂的配置,弥合采样与合成之间的差距,带来卓越的音质。

AI 音乐生成器

AI 音乐生成器 排名第 30 位

查看工具

增强了 Sibelius、Dorico 和 Finale 的逼真回放效果。深受超过 50,000 名音乐家的信赖,它提供智能的音乐乐句处理、完整的管弦乐音色库以及简单的安装。体验自然的音乐性,无需复杂的配置,弥合采样与合成之间的差距,带来卓越的音质。NotePerformer 5 增强了 Sibelius、Dorico 和 Finale 的逼真回放效果。深受超过 50,000 名音乐家的信赖,它提供智能的音乐乐句处理、完整的管弦乐音色库以及简单的安装。体验自然的音乐性,无需复杂的配置,弥合采样与合成之间的差距,带来卓越的音质。

AI 音乐生成器
AI 音乐生成器 排名第 30 位

Lyria 3.5 是 Google DeepMind 开发的先进音乐生成模型,帮助用户轻松创作歌曲。它提供技术控制和在各种流派中创作曲目的能力,使音乐创作变得可及且富有创新性。

AI 模型与大语言模型
查看工具

Lyria 3.5 是 Google DeepMind 开发的先进音乐生成模型,帮助用户轻松创作歌曲。它提供技术控制和在各种流派中创作曲目的能力,使音乐创作变得可及且富有创新性。

精选AI 模型与大语言模型
查看 AI 模型 Top 5
1/8