Описание
MT3, что расшифровывается как Multi-Task Multitrack Music Transcription (Многозадачная многодорожечная транскрипция музыки), представляет собой передовую модель ИИ, разработанную в рамках проекта Magenta. Она использует фреймворк T5X для выполнения автоматической транскрипции музыки для нескольких инструментов и дорожек. Этот проект не является официально поддерживаемым продуктом Google, но предлагает значительные возможности для анализа и генерации музыки.
Читать далее
Основная функция MT3 заключается в транскрипции аудиофайлов, преобразуя их в символическое представление музыки. Пользователи могут использовать предоставленный colab-блокнот для транскрипции собственного аудио. Модель поставляется с предварительно обученными контрольными точками, включая одну, описанную в статье ISMIR 2021 для транскрипции фортепиано, и другую из статьи ICLR 2022 для многоинструментальной транскрипции.
Хотя основное внимание уделяется транскрипции, проект также затрагивает обучение моделей. Несмотря на то, что это не поддерживается для немедленного использования, заинтересованные пользователи могут следовать инструкциям по обучению T5X и обращаться к задачам, определенным в `tasks.py`, чтобы потенциально обучить свои собственные модели MT3. Репозиторий включает необходимые файлы, такие как `README.md`, `LICENSE` и `CONTRIBUTING.md`, предоставляющие руководство и информацию для пользователей и контрибьюторов.
Проект MT3 размещен на GitHub, способствуя созданию среды для совместной разработки и совершенствования. Он написан в основном на Python, со значительной частью также в Jupyter Notebooks, что отражает его исследовательский и разработческий характер. Проект направлен на развитие области автоматической транскрипции музыки, предлагая надежный и универсальный инструмент как для исследователей, так и для музыкантов.
- КатегорияИИ-редакторы аудио
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции MT3: Многозадачная многодорожечная транскрипция музыки
Модель для автоматической транскрипции музыки с несколькими инструментами
Построена на базе фреймворка T5X
Поддерживает многодорожечную транскрипцию музыки
Использует предварительно обученные контрольные точки
Включает colab-блокнот для транскрипции аудио
Предлагает контрольные точки для транскрипции фортепиано (ISMIR 2021)
Предлагает контрольные точки для многоинструментальной транскрипции (ICLR 2022)
Предоставляет ресурсы для обучения моделей через инструкции T5X
Проект с открытым исходным кодом, размещенный на GitHub
Начало работы с MT3: Многозадачная многодорожечная транскрипция музыки
Клонировать: Получите репозиторий MT3 с GitHub.
Установить: Настройте необходимые зависимости для фреймворка T5X.
Настроить: Подготовьте ваши аудиофайлы и выберите предварительно обученную контрольную точку.
Выполнить: Запустите предоставленный colab-блокнот для транскрипции вашего аудио.
Обучить (необязательно): Следуйте инструкциям по обучению T5X и определениям задач для обучения пользовательской модели.
Варианты использования MT3: Многозадачная многодорожечная транскрипция музыки
- Аудио в символическую музыку
- Многоинструментальная транскрипция
- Анализ музыки
- Исследования в области музыкального ИИ
- Обучение пользовательских моделей
