Description
MiniMax Music 3 est un modèle sophistiqué de génération musicale conçu pour créer des chansons complètes d'une durée allant jusqu'à cinq minutes. Ce modèle est conditionné à la fois sur les paroles et une description musicale détaillée, lui permettant de générer des chansons structurées de manière cohérente avec des voix expressives, des arrangements évolutifs et une qualité audio longue durée stable. Le modèle combine un LLM Global de 8B pour la structure musicale à long terme et un LLM Local de 0,6B pour les détails acoustiques au niveau du cadre, utilisant un système de synthèse d'état caché continu basé sur Flow Matching et Flow-VAE. Il produit un audio WAV stéréo à 32 kHz et 16 bits.
Lire la suite
Le modèle prend en charge la génération de chansons complètes, maintenant les thèmes musicaux, le rythme, l'identité vocale et la progression des arrangements à travers de longues séquences. Il permet des structures complètes telles que l'introduction, le couplet, le pré-refrain, le refrain, le pont, la pause instrumentale et la conclusion. Les utilisateurs peuvent entrer des paroles avec des balises de section explicites et une description musicale définissant le style musical, la progression émotionnelle, la performance vocale, l'instrumentation, l'arrangement et le profil de production.
MiniMax Music 3 emploie une architecture autoregressive hiérarchique qui sépare la modélisation musicale globale de la modélisation acoustique locale. Le LLM Global prédit le premier codebook RVQ image par image, modélisant la progression sémantique et structurelle à long terme de la chanson. Le LLM Local prédit les codebooks acoustiques restants dans chaque cadre, restaurant des informations acoustiques détaillées.
Le module de synthèse du modèle fusionne les états cachés finaux des LLM Global et Local, préservant des informations acoustiques plus riches pour l'articulation vocale, la texture instrumentale et la continuité temporelle. L'architecture Flow-VAE est adaptée de MiniMax Speech et réentraînée pour la plage dynamique et les caractéristiques spectrales de la musique.
MiniMax Music 3 est soutenu par SGLang-Omni et peut être servi en utilisant divers frameworks d'inférence tels que SGLang, diffusers et ComfyUI. Il nécessite CUDA pour l'inférence et prend actuellement en charge uniquement la génération non en continu. Le prompt textuel tokenisé est limité à 5 000 tokens, et la génération audio est limitée à 9 000 cadres acoustiques.
- CatégorieGénérateurs de musique IA
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de MiniMax Music 3
Génération musicale haute performance
Prend en charge la génération de chansons complètes jusqu'à cinq minutes
Combine les LLM Global et Local
Produit un audio WAV stéréo à 32 kHz et 16 bits
Architecture autoregressive hiérarchique
Synthèse d'état caché continue
Architecture Flow-VAE
Prend en charge SGLang-Omni et d'autres frameworks
Premiers pas avec MiniMax Music 3
Accéder au modèle : Visitez Hugging Face
Authentifier : Créez un compte
Configurer l'environnement : Suivez le guide d'installation
Intégrer via API : Utilisez les frameworks pris en charge
Optimiser : Ajustez les paramètres pour le résultat souhaité
Cas d'utilisation de MiniMax Music 3
- Écriture de chansons
- Production musicale
- Composition de films
- Bandes sonores de jeux
- Publicité
