Beschreibung
MT3, kurz für Multi-Task Multitrack Music Transcription, ist ein fortschrittliches KI-Modell, das im Rahmen des Magenta-Projekts entwickelt wurde. Es nutzt das T5X-Framework, um automatische Musiktranskriptionen über mehrere Instrumente und Spuren hinweg durchzuführen. Dieses Projekt ist kein offiziell unterstütztes Google-Produkt, bietet aber signifikante Fähigkeiten für die Musikanalyse und -generierung.
Weiterlesen
Die Hauptfunktion von MT3 besteht darin, Audiodateien zu transkribieren und sie in eine symbolische Musikdarstellung umzuwandeln. Benutzer können ein bereitgestelltes Colab-Notebook verwenden, um ihre eigenen Audiodateien zu transkribieren. Das Modell wird mit vortrainierten Checkpoints geliefert, darunter einer, der in einem ISMIR 2021 Paper für Klaviertranskription beschrieben wird, und ein weiterer aus einem ICLR 2022 Paper für Multi-Instrumenten-Transkription.
Obwohl der Schwerpunkt auf der Transkription liegt, berührt das Projekt auch das Modelltraining. Obwohl es nicht einfach für den sofortigen Gebrauch unterstützt wird, können interessierte Benutzer die T5X-Trainingsanweisungen befolgen und sich auf die in `tasks.py` definierten Aufgaben beziehen, um möglicherweise ihre eigenen MT3-Modelle zu trainieren. Das Repository enthält wichtige Dateien wie `README.md`, `LICENSE` und `CONTRIBUTING.md`, die Anleitungen und Informationen für Benutzer und Mitwirkende bieten.
Das MT3-Projekt wird auf GitHub gehostet und fördert eine kollaborative Umgebung für Entwicklung und Verbesserung. Es ist hauptsächlich in Python geschrieben, mit einem erheblichen Teil auch in Jupyter Notebooks, was seine Forschungs- und Entwicklungsnatur widerspiegelt. Das Projekt zielt darauf ab, das Feld der automatischen Musiktranskription durch ein robustes und vielseitiges Werkzeug für Forscher und Musiker gleichermaßen voranzutreiben.
- KategorieKI-Audio-Editoren
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
MT3: Multi-Task Multitrack Music Transcription's Kernfunktionen
Multi-Instrumenten-Modell für automatische Musiktranskription
Basiert auf dem T5X-Framework
Unterstützt Multi-Track-Musiktranskription
Verwendet vortrainierte Checkpoints
Enthält ein Colab-Notebook für die Audiotranskription
Bietet Checkpoints für die Klaviertranskription (ISMIR 2021)
Bietet Checkpoints für die Multi-Instrumenten-Transkription (ICLR 2022)
Stellt Ressourcen für das Modelltraining über T5X-Anweisungen bereit
Open-Source-Projekt gehostet auf GitHub
Erste Schritte mit MT3: Multi-Task Multitrack Music Transcription
Klonen: Holen Sie sich das MT3-Repository von GitHub.
Installieren: Richten Sie die notwendigen Abhängigkeiten für das T5X-Framework ein.
Konfigurieren: Bereiten Sie Ihre Audiodateien vor und wählen Sie einen vortrainierten Checkpoint aus.
Ausführen: Führen Sie das bereitgestellte Colab-Notebook aus, um Ihre Audio zu transkribieren.
Trainieren (Optional): Befolgen Sie die T5X-Trainingsanweisungen und Aufgabendefinitionen für benutzerdefiniertes Modelltraining.
MT3: Multi-Task Multitrack Music Transcription's Anwendungsfälle
- Audio zu symbolischer Musik
- Multi-Instrumenten-Transkription
- Musikanalyse
- Forschung in Musik-KI
- Benutzerdefiniertes Modelltraining
