Deskripsi
MusicGen Large adalah model AI canggih yang dirancang untuk generasi teks-ke-music, dikembangkan oleh tim FAIR dari Meta AI. Ini memanfaatkan model Transformer auto-regresif satu tahap yang dilatih menggunakan tokenizer EnCodec 32kHz dengan empat buku kode yang diambil sampelnya pada 50 Hz. Berbeda dengan model lain seperti MusicLM, MusicGen tidak memerlukan representasi semantik yang diawasi sendiri, memungkinkan untuk menghasilkan semua empat buku kode dalam satu kali proses. Pendekatan inovatif ini memperkenalkan sedikit keterlambatan antara buku kode, memungkinkan prediksi paralel dan mengurangi langkah auto-regresif menjadi hanya 50 per detik audio.
Baca Selengkapnya
Model ini dilatih antara April 2023 dan Mei 2023 dan tersedia dalam berbagai ukuran, termasuk versi besar dengan 3,3 miliar parameter. MusicGen ditujukan terutama untuk tujuan penelitian, dengan fokus pada generasi musik berbasis AI. Ini bertujuan untuk meningkatkan pemahaman tentang model generatif dan memperbaiki keadaan ilmu pengetahuan di bidang ini. Pengguna utama adalah peneliti di bidang audio, pembelajaran mesin, dan kecerdasan buatan, serta amatir yang tertarik untuk mengeksplorasi model AI.
MusicGen Large telah dievaluasi menggunakan metrik objektif seperti Frechet Audio Distance dan Kullback-Leibler Divergence, menunjukkan kinerjanya pada tolok ukur musik standar. Namun, model ini memiliki keterbatasan, termasuk ketidakmampuannya untuk menghasilkan vokal yang realistis dan kinerjanya yang menurun dengan deskripsi non-Inggris. Ini juga mencerminkan bias dari data pelatihan, yang mungkin tidak mewakili semua budaya musik secara setara.
Model ini dirilis di bawah lisensi MIT untuk kode dan CC-BY-NC 4.0 untuk bobot model. Pengguna didorong untuk mengeksplorasi kemampuannya melalui pustaka Hugging Face dan Audiocraft, dengan dokumentasi terperinci tersedia untuk panduan lebih lanjut.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan MusicGen Large
Generasi teks-ke-music
Model Transformer auto-regresif
Tokenizer EnCodec 32kHz
Empat buku kode yang diambil sampelnya pada 50 Hz
Prediksi paralel buku kode
3,3 miliar parameter
Aplikasi berfokus pada penelitian
Metrik kinerja objektif
Memulai dengan MusicGen Large
Akses halaman: Kunjungi situs web Hugging Face
Muat model: Pilih checkpoint MusicGen Large
Konfigurasi lingkungan: Instal pustaka yang diperlukan
Integrasi: Gunakan pustaka Transformers atau Audiocraft
Penyempurnaan: Sesuaikan parameter model untuk tugas tertentu
Kasus Penggunaan MusicGen Large
- Penelitian musik AI
- Pembuatan teks-ke-music
- Generasi yang dipandu melodi
- Evaluasi model
- Rekayasa prompt
