Описание
Fish Audio Drama 3 — это последняя модель синтеза речи от Fish Audio, специально разработанная для сцен с несколькими персонажами и длинным контентом. Эта модель поддерживает генерацию с несколькими голосами, клонирование голосов и управление на естественном языке, позволяя пользователям создавать динамичные и увлекательные аудиопродукции. С 35 миллиардами параметров и 3 миллиардами активных на токен, она использует текстовую основу MoE с гибридным вниманием для обеспечения высококачественного синтеза речи.
Читать далее
Модель оснащена аудиодекодером Codebook-MTP, который декодирует 10 кодовых книг последовательно на протяжении всей последовательности, обеспечивая плавный и согласованный аудиовыход. Она также использует экспертов FP8 MoE с оставшимися весами в bf16, оптимизируя производительность и эффективность. Пользователи могут включать до 16 различных персонажей в одном тексте, используя теги спикеров, что обеспечивает гибкость в аудиорассказах.
Fish Audio Drama 3 автоматически разбивает длинные тексты на части и передает их по частям, улучшая его удобство для длительных сценариев. Она запускается с SGLang Omni, предлагая бесшовную интеграцию и развертывание. Книга рецептов Drama 3 предоставляет подробные инструкции по установке, развертыванию и использованию API, что делает её доступной для разработчиков и аудиопродюсеров.
Показатели производительности на графических процессорах NVIDIA H200 демонстрируют её эффективность, с пропускной способностью до 1,687.3 кадров в секунду при высоких уровнях параллелизма. Модель поддерживает низкое время до первого аудио (TTFA) и благоприятный коэффициент реального времени (RTF), обеспечивая быструю и отзывчивую генерацию аудио. Модель лицензирована по лицензии Fish Audio Community License, способствуя открытому доступу и сотрудничеству.
- КатегорияСинтез речи из текста
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Fish Audio Drama 3
Генерация с несколькими голосами
Клонирование голосов
Управление на естественном языке
35B параметров
Текстовая основа MoE
Аудиодекодер Codebook-MTP
Эксперты FP8 MoE
Автоматическое разбитие текста
Начало работы с Fish Audio Drama 3
Доступ к модели: Посетите Hugging Face
Аутентификация: Используйте API-ключ
Настройка окружения: Следуйте Книге рецептов
Интеграция через API: Используйте предоставленные примеры
Оптимизация: Настройте параметры для повышения производительности
Варианты использования Fish Audio Drama 3
- Аудиопродукции
- Клонирование голосов
- Длинные нарративы
- Интерактивное повествование
- Подкастинг
