Описание
YuE2-3B — это передовая модель генерации музыки, размещенная на Hugging Face, предназначенная для создания высококачественных песен из текстов и стилистических подсказок. Она конкурирует с ведущими проприетарными моделями, такими как Suno v5 и v6, достигая передовых результатов на таких бенчмарках, как WildSongBench. Пользователи могут генерировать полные песни с вокалом и аккомпанементом, а также дополнительно уточнять результат, редактируя мелодии и аккорды через редактируемую партитуру. Модель поддерживает различные режимы, включая только мелодию и полное планирование мелодии и аккордов, что позволяет создавать и редактировать музыку разнообразно.
Читать далее
YuE2-3B также предлагает агентное редактирование, где пользователи могут предоставлять музыкальную обратную связь для пересмотра партитур, стилей и текстов, что позволяет динамично и интерактивно создавать музыку. Модель работает локально на GPU с 24 ГБ памяти, производя стерео песни с частотой 48 кГц без квантования. Она построена на основе Mixture-of-Transformers, которая записывает партитуры и семантические токены, генерируя акустические латенты через сопоставление потоков, которые затем преобразуются в стерео-аудио с помощью VAE.
Модель поддерживает интеграцию с API Hugging Face, позволяя пользователям загружать модель, применять текстовые подсказки и использовать отдельные API для планирования и синтеза. Производительность YuE2-3B оптимизирована для скорости, с песней длительностью 3,6 минуты, сгенерированной всего за чуть более минуты на GPU RTX 4090. Открытая природа модели и высококачественный выход делают ее привлекательным выбором для музыкантов, композиторов и разработчиков, заинтересованных в генерации музыки с использованием ИИ.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеРаботает локально
- ПлатформыВеб
Главное о YuE2-3B
Открытая модель генерации музыки
Редактируемая партитура для мелодий и аккордов
Возможности агентного редактирования
Работает локально на GPU с 24 ГБ
Основывается на Mixture-of-Transformers
Интеграция с API Hugging Face
Поддерживает режимы только мелодии и полного планирования
Высококачественный стерео аудиовыход
Начало работы с YuE2-3B
Доступ к модели: посетите Hugging Face
Аутентификация: настройте учетную запись
Настройка окружения: установите зависимости
Интеграция через API: используйте API Hugging Face
Оптимизация: настройте параметры для лучшей производительности
Варианты использования YuE2-3B
- Музыкальная композиция
- Редактирование песен
- Агентное редактирование
- Локальная генерация музыки
- Интеграция API
