Описание
MiniMax Music 3 — это сложная модель генерации музыки, предназначенная для создания полных песен продолжительностью до пяти минут. Эта модель основывается как на текстах, так и на подробном музыкальном описании, что позволяет ей генерировать структурно согласованные песни с выразительными вокалами, развивающимися аранжировками и стабильным качеством длинного аудио. Модель сочетает в себе 8B Global LLM для долгосрочной музыкальной структуры и 0.6B Local LLM для акустических деталей на уровне фрейма, используя непрерывную систему синтеза скрытых состояний на основе Flow Matching и Flow-VAE. Она производит стерео WAV-аудио с частотой 32 кГц и 16 бит.
Читать далее
Модель поддерживает генерацию полных песен, сохраняя музыкальные темы, ритм, вокальную идентичность и прогрессию аранжировки на протяжении длинных последовательностей. Она позволяет создавать полные структуры, такие как интро, куплет, предприпев, припев, бридж, инструментальный перерыв и аутро. Пользователи могут вводить тексты с явными метками секций и музыкальное описание, определяющее музыкальный стиль, эмоциональную прогрессию, вокальное исполнение, инструментовку, аранжировку и профиль продакшна.
MiniMax Music 3 использует иерархическую авторегрессионную архитектуру, которая разделяет глобальное музыкальное моделирование и локальное акустическое моделирование. Global LLM предсказывает первый RVQ кодовый фрейм поэтапно, моделируя долгосрочную семантическую и структурную прогрессию песни. Local LLM предсказывает оставшиеся акустические кодовые книги в каждом фрейме, восстанавливая детализированную акустическую информацию.
Модуль синтеза модели объединяет конечные скрытые состояния Global и Local LLM, сохраняя более богатую акустическую информацию для вокальной артикуляции, инструментальной текстуры и временной непрерывности. Архитектура Flow-VAE адаптирована от MiniMax Speech и переобучена для динамического диапазона и спектральных характеристик музыки.
MiniMax Music 3 поддерживается SGLang-Omni и может использоваться с различными фреймворками вывода, такими как SGLang, диффузоры и ComfyUI. Она требует CUDA для вывода и в настоящее время поддерживает только нестриминговую генерацию. Токенизированный текстовый запрос ограничен 5,000 токенами, а генерация аудио ограничена 9,000 акустическими фреймами.
- КатегорияИИ-генераторы музыки
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о MiniMax Music 3
Высокопроизводительная генерация музыки
Поддержка генерации полных песен до пяти минут
Сочетание Global и Local LLM
Производит стерео WAV-аудио с частотой 32 кГц и 16 бит
Иерархическая авторегрессионная архитектура
Непрерывный синтез скрытых состояний
Архитектура Flow-VAE
Поддержка SGLang-Omni и других фреймворков
Начало работы с MiniMax Music 3
Доступ к модели: посетите Hugging Face
Аутентификация: настройте учетную запись
Настройка окружения: следуйте руководству по установке
Интеграция через API: используйте поддерживаемые фреймворки
Оптимизация: настройте параметры для желаемого результата
Варианты использования MiniMax Music 3
- Написание песен
- Музыкальное производство
- Создание музыки для фильмов
- Музыкальные саундтреки для игр
- Реклама
