Описание
MusicGen Large — это сложная модель ИИ, предназначенная для генерации музыки из текста, разработанная командой FAIR Meta AI. Она использует одноэтапную авторегрессионную модель Transformer, обученную на токенизаторе EnCodec с частотой 32 кГц и четырьмя кодовыми книгами, выборка которых производится с частотой 50 Гц. В отличие от других моделей, таких как MusicLM, MusicGen не требует самонаблюдаемого семантического представления, что позволяет генерировать все четыре кодовые книги за один проход. Этот инновационный подход вводит небольшую задержку между кодовыми книгами, позволяя параллельное предсказание и сокращая количество авторегрессионных шагов до всего лишь 50 в секунду аудио.
Читать далее
Модель была обучена с апреля 2023 года по май 2023 года и доступна в различных размерах, включая большую версию с 3,3 миллиарда параметров. MusicGen предназначен в первую очередь для исследовательских целей, сосредоточенных на генерации музыки на основе ИИ. Он направлен на углубление понимания генеративных моделей и улучшение состояния науки в этой области. Основные пользователи — это исследователи в области аудио, машинного обучения и искусственного интеллекта, а также любители, заинтересованные в изучении моделей ИИ.
MusicGen Large был оценен с использованием объективных метрик, таких как расстояние Фреше и дивергенция Кульбака-Лейблера, что демонстрирует его производительность на стандартных музыкальных бенчмарках. Однако у модели есть ограничения, включая неспособность генерировать реалистичные вокалы и сниженное качество работы с неанглийскими описаниями. Она также отражает предвзятости из обучающих данных, которые могут не представлять все музыкальные культуры в равной степени.
Модель выпущена под лицензией MIT для кода и CC-BY-NC 4.0 для весов модели. Пользователи могут исследовать ее возможности через библиотеки Hugging Face и Audiocraft, с подробной документацией для дальнейшего руководства.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о MusicGen Large
Генерация музыки из текста
Авторегрессионная модель Transformer
Токенизатор EnCodec с частотой 32 кГц
Четыре кодовые книги, выборка которых производится с частотой 50 Гц
Параллельное предсказание кодовых книг
3,3 миллиарда параметров
Применение, ориентированное на исследования
Объективные метрики производительности
Начало работы с MusicGen Large
Доступ к странице: посетите сайт Hugging Face
Загрузите модель: выберите контрольную точку MusicGen Large
Настройте окружение: установите необходимые библиотеки
Интеграция: используйте библиотеку Transformers или Audiocraft
Тонкая настройка: настройте параметры модели для конкретных задач
Варианты использования MusicGen Large
- Исследования музыки на основе ИИ
- Создание музыки из текста
- Генерация, управляемая мелодией
- Оценка модели
- Инженерия подсказок
