Descrição
MT3, sigla para Multi-Task Multitrack Music Transcription, é um modelo avançado de IA desenvolvido dentro do projeto Magenta. Ele utiliza o framework T5X para realizar transcrição musical automática em múltiplos instrumentos e trilhas. Este projeto não é um produto oficialmente suportado pelo Google, mas oferece capacidades significativas para análise e geração musical.
Ler mais
A função principal do MT3 é transcrever arquivos de áudio, convertendo-os para uma representação simbólica da música. Os usuários podem utilizar um notebook Colab fornecido para transcrever seus próprios áudios. O modelo vem com checkpoints pré-treinados, incluindo um descrito em um artigo da ISMIR 2021 para transcrição de piano e outro de um artigo da ICLR 2022 para transcrição multi-instrumento.
Embora o foco seja a transcrição, o projeto também aborda o treinamento de modelos. Embora não seja facilmente suportado para uso imediato, usuários interessados podem seguir as instruções de treinamento do T5X e consultar as tarefas definidas em `tasks.py` para potencialmente treinar seus próprios modelos MT3. O repositório inclui arquivos essenciais como `README.md`, `LICENSE` e `CONTRIBUTING.md`, fornecendo orientação e informações para usuários e colaboradores.
O projeto MT3 é hospedado no GitHub, promovendo um ambiente colaborativo para desenvolvimento e melhoria. Ele é escrito principalmente em Python, com uma porção significativa também em Jupyter Notebooks, refletindo sua natureza de pesquisa e desenvolvimento. O projeto visa avançar o campo da transcrição musical automática, oferecendo uma ferramenta robusta e versátil para pesquisadores e músicos.
- CategoriaEditores de áudio com IA
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de MT3: Transcrição Musical Multitarefa Multitrack
Modelo de transcrição musical automática multi-instrumento
Construído sobre o framework T5X
Suporta transcrição de música multitrack
Utiliza checkpoints pré-treinados
Inclui um notebook Colab para transcrição de áudio
Oferece checkpoints para transcrição de piano (ISMIR 2021)
Oferece checkpoints para transcrição multi-instrumento (ICLR 2022)
Fornece recursos para treinamento de modelos via instruções T5X
Projeto open-source hospedado no GitHub
Primeiros passos com MT3: Transcrição Musical Multitarefa Multitrack
Clonar: Obtenha o repositório MT3 do GitHub.
Instalar: Configure as dependências necessárias para o framework T5X.
Configurar: Prepare seus arquivos de áudio e selecione um checkpoint pré-treinado.
Executar: Execute o notebook Colab fornecido para transcrever seu áudio.
Treinar (Opcional): Siga as instruções de treinamento do T5X e as definições de tarefas para treinamento de modelo personalizado.
Casos de uso de MT3: Transcrição Musical Multitarefa Multitrack
- Áudio para Música Simbólica
- Transcrição Multi-Instrumento
- Análise Musical
- Pesquisa em IA Musical
- Treinamento de Modelo Personalizado
