설명
Multi-Task Multitrack Music Transcription의 약자인 MT3는 Magenta 프로젝트 내에서 개발된 고급 AI 모델입니다. T5X 프레임워크를 활용하여 여러 악기와 트랙에 걸쳐 자동 음악 전사를 수행합니다. 이 프로젝트는 공식적으로 지원되는 Google 제품은 아니지만 음악 분석 및 생성에 상당한 기능을 제공합니다.
MT3의 주요 기능은 오디오 파일을 전사하여 음악의 기호 표현으로 변환하는 것입니다. 사용자는 제공된 colab 노트북을 사용하여 자신의 오디오를 전사할 수 있습니다. 이 모델에는 ISMIR 2021 논문에서 설명된 피아노 전사 체크포인트와 ICLR 2022 논문에서 나온 다중 악기 전사 체크포인트가 포함되어 있습니다.
전사에 중점을 두지만, 이 프로젝트는 모델 학습에 대해서도 다룹니다. 즉시 사용하기 쉽게 지원되지는 않지만, 관심 있는 사용자는 T5X 학습 지침을 따르고 `tasks.py`에 정의된 작업을 참조하여 자체 MT3 모델을 학습할 수 있습니다. 리포지토리에는 사용자 및 기여자에게 지침과 정보를 제공하는 `README.md`, `LICENSE`, `CONTRIBUTING.md`와 같은 필수 파일이 포함되어 있습니다.
MT3 프로젝트는 GitHub에서 호스팅되어 개발 및 개선을 위한 협업 환경을 조성합니다. 주로 Python으로 작성되었으며, 상당 부분은 Jupyter Notebook으로 작성되어 연구 및 개발 특성을 반영합니다. 이 프로젝트는 연구원과 음악가 모두에게 강력하고 다재다능한 도구를 제공함으로써 자동 음악 전사 분야를 발전시키는 것을 목표로 합니다.
MT3: Multi-Task Multitrack Music Transcription의 핵심 기능
다중 악기 자동 음악 전사 모델
T5X 프레임워크 기반 구축
다중 트랙 음악 전사 지원
사전 학습된 체크포인트 활용
오디오 전사를 위한 colab 노트북 포함
피아노 전사 체크포인트 제공 (ISMIR 2021)
다중 악기 전사 체크포인트 제공 (ICLR 2022)
T5X 지침을 통한 모델 학습 리소스 제공
GitHub에서 호스팅되는 오픈 소스 프로젝트
MT3: Multi-Task Multitrack Music Transcription 시작하기
클론: GitHub에서 MT3 리포지토리를 가져옵니다.
설치: T5X 프레임워크에 필요한 종속성을 설정합니다.
구성: 오디오 파일을 준비하고 사전 학습된 체크포인트를 선택합니다.
실행: 제공된 colab 노트북을 실행하여 오디오를 전사합니다.
학습 (선택 사항): T5X 학습 지침 및 작업 정의를 따라 사용자 지정 모델을 학습합니다.
MT3: Multi-Task Multitrack Music Transcription의 사용 사례
- 오디오를 기호 음악으로
- 다중 악기 전사
- 음악 분석
- 음악 AI 연구
- 사용자 지정 모델 학습
