الوصف
MusicLM هو نموذج ذكاء اصطناعي متقدم طورته Google Research لتوليد موسيقى عالية الدقة مباشرة من الأوصاف النصية. هذه النظام المبتكر يحول عملية توليد الموسيقى الشرطية المعقدة إلى مهمة نمذجة تسلسلية هرمية من تسلسل إلى تسلسل. إنه قادر على إنتاج موسيقى بمعدل عينة يبلغ 24 كيلو هرتز، مع الحفاظ على اتساق ملحوظ على مدى فترات طويلة تصل إلى عدة دقائق.
قراءة المزيد
أظهرت التجارب أن MusicLM يتفوق بشكل كبير على الأنظمة الحالية في كل من جودة الصوت المولّد والتزامه بالمطالبات النصية المقدمة. بالإضافة إلى توليد الموسيقى من النص البسيط، يقدم MusicLM إمكانيات متقدمة، بما في ذلك التكييف على كل من النص ولحن موجود. هذا يسمح للمستخدمين بتحويل الألحان المصفارة أو المهمهمة وفقًا لأسلوب محدد موصوف في تسمية نصية، مما يفتح آفاقًا جديدة للإبداع الموسيقي والتلاعب به.
يتم تسليط الضوء على تنوع النموذج بشكل أكبر من خلال قدرته على توليد الموسيقى بناءً على تسميات غنية، وإنتاج صوت يتطابق مع الأوصاف التفصيلية للأنواع الموسيقية والآلات والمزاج. على سبيل المثال، يمكنه إنشاء الموسيقى التصويرية الرئيسية للعبة أركيد، أو مزيج من موسيقى الريجيتون والموسيقى الإلكترونية الراقصة بصوت فضائي، أو أغنية ريغي بطيئة الإيقاع ذات شعور مريح.
يدعم MusicLM أيضًا توليد "وضع القصة"، حيث يؤثر تسلسل المطالبات النصية على كيفية استمرار النموذج في الموسيقى، مما يخلق مناظر صوتية متطورة. علاوة على ذلك، يمكن تكييفه مع الفن البصري، وتوليد موسيقى مستوحاة من لوحات مثل "إصرار الذاكرة" لسلفادور دالي أو "الرقص" لهنري ماتيس.
لتعزيز المزيد من البحث والتطوير في هذا المجال، أصدرت Google Research علنًا MusicCaps، وهي مجموعة بيانات تتكون من 5.5 ألف زوج من الموسيقى والنص، تتميز بأوصاف نصية غنية قدمها خبراء بشريون بدقة. يهدف هذا الإصدار إلى تسريع التقدم في إنشاء الموسيقى وتحليلها المدفوع بالذكاء الاصطناعي.
- الفئةمولّدات الموسيقى بالذكاء الاصطناعي
- النشرسحابي
- المنصاتالويب
أبرز ملامح MusicLM
يولد موسيقى عالية الدقة من الأوصاف النصية
ينتج صوتًا بمعدل عينة 24 كيلو هرتز
يحافظ على الاتساق الموسيقي لعدة دقائق
يتفوق على الأنظمة السابقة في جودة الصوت
يحقق التزامًا عاليًا بالأوصاف النصية
يدعم التكييف على كل من النص واللحن
يحول الألحان المصفارة والمهمهمة بناءً على نمط النص
يولد موسيقى من تسميات غنية
يدعم المطالبات النصية المتسلسلة للموسيقى المتطورة ("وضع القصة")
يمكنه توليد موسيقى مستوحاة من الفن البصري (اللوحات)
مجموعة بيانات MusicCaps صدرت علنًا (5.5 ألف زوج موسيقى-نص)
البدء مع MusicLM
الوصول إلى النموذج: استخدم نموذج MusicLM من خلال واجهاته المتاحة أو واجهات برمجة التطبيقات.
تقديم مطالبة نصية: أدخل وصفًا نصيًا مفصلاً للموسيقى المطلوبة.
تكييف اللحن اختياريًا: قدم لحنًا (مهمهمًا أو مصفورًا) لتوجيه التوليد.
توليد الصوت: ابدأ عملية توليد الموسيقى.
تحسين الإخراج: اضبط المطالبات أو اللحن للحصول على الخصائص الموسيقية المرغوبة.
التكامل: قم بدمج الموسيقى المولّدة في المشاريع أو التطبيقات.
حالات استخدام MusicLM
- توليد الموسيقى
- إنشاء الموسيقى التصويرية
- تحويل اللحن
- الاستكشاف الإبداعي
- زيادة مجموعات البيانات
- الإلهام الفني
