Beschreibung
MiniMax Music 3 ist ein anspruchsvolles Musikgenerierungsmodell, das entwickelt wurde, um vollständige Songs mit einer Dauer von bis zu fünf Minuten zu erstellen. Dieses Modell basiert sowohl auf Texten als auch auf einer detaillierten Musikbeschreibung, was es ihm ermöglicht, strukturell kohärente Songs mit ausdrucksvollen Vocals, sich entwickelnden Arrangements und stabiler Audioqualität in Langform zu generieren. Das Modell kombiniert ein 8B Global LLM für die langfristige musikalische Struktur und ein 0,6B Local LLM für akustische Details auf Rahmenebene und nutzt ein kontinuierliches Synthesesystem für verborgene Zustände, das auf Flow Matching und Flow-VAE basiert. Es produziert 32 kHz, 16-Bit Stereo WAV-Audio.
Weiterlesen
Das Modell unterstützt die Generierung vollständiger Songs und bewahrt musikalische Themen, Rhythmus, vokale Identität und Arrangements über lange Sequenzen hinweg. Es ermöglicht vollständige Strukturen wie Intro, Strophe, Pre-Chorus, Chorus, Bridge, instrumentalen Break und Outro. Benutzer können Texte mit expliziten Abschnittsmarkierungen und einer Musikbeschreibung eingeben, die den musikalischen Stil, die emotionale Entwicklung, die vokale Darbietung, die Instrumentierung, das Arrangement und das Produktionsprofil definiert.
MiniMax Music 3 verwendet eine hierarchische autoregressive Architektur, die globale musikalische Modellierung von lokaler akustischer Modellierung trennt. Das Global LLM sagt den ersten RVQ-Codebuchrahmen für Rahmen für Rahmen voraus und modelliert die langfristige semantische und strukturelle Entwicklung des Songs. Das Local LLM sagt die verbleibenden akustischen Codebücher innerhalb jedes Rahmens voraus und stellt feinkörnige akustische Informationen wieder her.
Das Synthesemodul des Modells kombiniert die finalen verborgenen Zustände der Global- und Local-LLMs und bewahrt reichhaltigere akustische Informationen für vokale Artikulation, instrumentale Textur und zeitliche Kontinuität. Die Flow-VAE-Architektur ist von MiniMax Speech abgeleitet und für den Dynamikbereich und die spektralen Eigenschaften von Musik neu trainiert worden.
MiniMax Music 3 wird von SGLang-Omni unterstützt und kann mit verschiedenen Inferenz-Frameworks wie SGLang, Diffusoren und ComfyUI bereitgestellt werden. Es erfordert CUDA für die Inferenz und unterstützt derzeit nur die nicht-streaming Generierung. Der tokenisierte Textprompt ist auf 5.000 Tokens begrenzt, und die Audioerzeugung ist auf 9.000 akustische Frames begrenzt.
- KategorieKI-Musikgeneratoren
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
MiniMax Music 3 im Überblick
Hochleistungsfähige Musikgenerierung
Unterstützt die Generierung vollständiger Songs von bis zu fünf Minuten
Kombiniert Global- und Local-LLMs
Produziert 32 kHz, 16-Bit Stereo WAV-Audio
Hierarchische autoregressive Architektur
Kontinuierliche Synthese verborgener Zustände
Flow-VAE-Architektur
Unterstützt SGLang-Omni und andere Frameworks
Erste Schritte mit MiniMax Music 3
Zugriff auf das Modell: Besuchen Sie Hugging Face
Authentifizierung: Konto einrichten
Umgebung einrichten: Installationsanleitung folgen
Integration über API: Unterstützte Frameworks verwenden
Optimierung: Parameter für das gewünschte Ergebnis anpassen
MiniMax Music 3's Anwendungsfälle
- Songwriting
- Musikproduktion
- Filmvertonung
- Spiel-Soundtracks
- Werbung
