الوصف
MT3، اختصار لـ Multi-Task Multitrack Music Transcription (النسخ الموسيقي متعدد المهام ومتعدد المسارات)، هو نموذج ذكاء اصطناعي متقدم تم تطويره ضمن مشروع Magenta. يستفيد من إطار عمل T5X لأداء النسخ الموسيقي الآلي عبر آلات ومسارات متعددة. هذا المشروع ليس منتجًا مدعومًا رسميًا من Google ولكنه يقدم قدرات كبيرة لتحليل الموسيقى وإنشائها.
قراءة المزيد
الوظيفة الأساسية لـ MT3 هي نسخ الملفات الصوتية، وتحويلها إلى تمثيل رمزي للموسيقى. يمكن للمستخدمين استخدام دفتر ملاحظات Colab المقدم لنسخ الصوت الخاص بهم. يأتي النموذج مع نقاط فحص مدربة مسبقًا، بما في ذلك واحدة موصوفة في ورقة بحثية من ISMIR 2021 لنسخ البيانو وأخرى من ورقة بحثية من ICLR 2022 لنسخ الآلات المتعددة.
بينما ينصب التركيز على النسخ، يتطرق المشروع أيضًا إلى تدريب النموذج. على الرغم من أنه ليس مدعومًا بسهولة للاستخدام الفوري، يمكن للمستخدمين المهتمين اتباع تعليمات تدريب T5X والإشارة إلى المهام المحددة في `tasks.py` لتدريب نماذج MT3 الخاصة بهم. يتضمن المستودع ملفات أساسية مثل `README.md` و `LICENSE` و `CONTRIBUTING.md`، والتي توفر الإرشادات والمعلومات للمستخدمين والمساهمين.
يتم استضافة مشروع MT3 على GitHub، مما يعزز بيئة تعاونية للتطوير والتحسين. تمت كتابته بشكل أساسي بلغة Python، مع جزء كبير أيضًا في Jupyter Notebooks، مما يعكس طبيعته البحثية والتطويرية. يهدف المشروع إلى تطوير مجال النسخ الموسيقي الآلي من خلال تقديم أداة قوية ومتعددة الاستخدامات للباحثين والموسيقيين على حد سواء.
- الفئةأدوات تحرير الصوت بالذكاء الاصطناعي
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ MT3: النسخ الموسيقى متعدد المهام ومتعدد المسارات
نموذج نسخ موسيقى آلي متعدد الآلات
مبني على إطار عمل T5X
يدعم النسخ الموسيقي متعدد المسارات
يستخدم نقاط فحص مدربة مسبقًا
يتضمن دفتر ملاحظات Colab لنسخ الصوت
يقدم نقاط فحص لنسخ البيانو (ISMIR 2021)
يقدم نقاط فحص لنسخ الآلات المتعددة (ICLR 2022)
يوفر موارد لتدريب النموذج عبر تعليمات T5X
مشروع مفتوح المصدر مستضاف على GitHub
البدء مع MT3: النسخ الموسيقى متعدد المهام ومتعدد المسارات
استنساخ: احصل على مستودع MT3 من GitHub.
تثبيت: قم بإعداد التبعيات اللازمة لإطار عمل T5X.
تكوين: قم بإعداد ملفات الصوت الخاصة بك وحدد نقطة فحص مدربة مسبقًا.
تنفيذ: قم بتشغيل دفتر ملاحظات Colab المقدم لنسخ الصوت الخاص بك.
تدريب (اختياري): اتبع تعليمات تدريب T5X وتعريفات المهام للتدريب المخصص للنموذج.
حالات استخدام MT3: النسخ الموسيقى متعدد المهام ومتعدد المسارات
- الصوت إلى موسيقى رمزية
- نسخ الآلات المتعددة
- تحليل الموسيقى
- البحث في الذكاء الاصطناعي الموسيقي
- تدريب نماذج مخصصة
