Описание
Stable Audio 3 Small SFX является частью семейства моделей латентной диффузии, разработанных компанией Stability AI, адаптированных для генерации и редактирования аудио. Эта модель особенно подходит для создания коротких звуковых эффектов, используя свою способность эффективно генерировать аудио переменной длины. Модель работает на основе нового семантического акустического автоэнкодера, который проецирует аудио в компактное латентное пространство. Этот подход обеспечивает эффективную генерацию на основе диффузии, сохраняя при этом аудиофиделити и способствуя семантической структуре.
Читать далее
Модель обучена на разнообразном наборе данных, состоящем из 1,278,902 аудиозаписей, полученных из лицензированных источников и данных Creative Commons. Это включает 806,284 записей, лицензированных от AudioSparx, и 472,618 от Freesound, с тщательной фильтрацией для обеспечения отсутствия защищенного авторским правом контента. Данные Freesound лицензированы по лицензиям CC-0, CC-BY или CC-Sampling+.
Stable Audio 3 Small SFX поддерживает инпейнтинг, что позволяет целенаправленно редактировать аудио и продолжать короткие записи. Эта функция особенно полезна для пользователей, желающих редактировать конкретные части аудиофайла, не затрагивая всю дорожку. Архитектура модели основана на трансформере, и она использует предобученную модель T5Gemma для текстового кондиционирования, которая перераспределяется в соответствии с Условиями использования Gemma.
Модель разработана для эффективной работы на потребительском оборудовании, с небольшими и средними весами, выпущенными для публичного использования. Она может генерировать аудио менее чем за две секунды на GPU H200 и всего за несколько секунд на MacBook Pro M4. Это делает её доступной как для профессиональных, так и для любительских создателей аудио, стремящихся быстро производить высококачественные звуковые эффекты.
- КатегорияИИ-редакторы аудио
- Модель ценообразованияБесплатно
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Stable Audio 3 Small SFX
Модель латентной диффузии
Генерация аудио переменной длины
Поддержка инпейнтинга
Семантический акустический автоэнкодер
Адвесариальная постобучение
Эффективна на потребительском оборудовании
Обучена на лицензированных данных и данных Creative Commons
Архитектура трансформера
Начало работы с Stable Audio 3 Small SFX
Доступ к модели: посетите страницу Hugging Face
Аутентификация: согласитесь с условиями лицензии
Настройка окружения: подготовьте оборудование
Интеграция через API: используйте библиотеку stable-audio-3
Оптимизация: тонкая настройка под конкретные нужды
Варианты использования Stable Audio 3 Small SFX
- Генерация аудио
- Редактирование аудио
- Музыкальное производство
- Звуковой дизайн
- Творческие проекты
