Описание
Audio8-TTS-Realistic-Air — это продвинутая модель синтеза речи (TTS), разработанная компанией Edge0 и доступная на Hugging Face. Основываясь на Audio8-TTS-Preview-0.6b, этот релиз значительно улучшает реалистичность речи, обеспечивая более естественную просодию и выразительную подачу, при этом сохраняя компактную архитектуру с 0,6 миллиарда параметров.
Читать далее
Модель обладает более широким многоязычным охватом, поддерживая 23 языка. Это включает 11 языков из версии Preview (кантонский, китайский, голландский, английский, французский, немецкий, итальянский, японский, корейский, польский, испанский) и 12 новых языков (арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий, вьетнамский). Она использует тот же интерфейс вывода Transformers, что и ее предшественник, что делает ее доступной для разработчиков.
Audio8-TTS-Realistic-Air включает полный контрольный экземпляр модели, нейронный аудиокодек с частотой 44,1 кГц, токенизатор, процессор и пользовательский код Transformers. Она поддерживает гибкую генерацию, предлагая как клонирование голоса без примеров из эталонной записи и транскрипта, так и генерацию речи без эталонного материала. Пользователи могут экспериментировать с этими возможностями в интерактивной песочнице, размещенной на Hugging Face ZeroGPU.
Для приложений с высокой производительностью модель предлагает обслуживание на GPU через адаптер SGLang Omni. Этот адаптер обеспечивает постраничное внимание, динамическую пакетную обработку и совместимый с OpenAI API для речи, что гарантирует эффективное и масштабируемое развертывание. Архитектура модели представляет собой дизайн DualAR, вдохновленный Fish Audio S2 Pro, с медленным AR-трансформером, предсказывающим семантические токены, и быстрым AR-трансформером, предсказывающим кодовые книги кодека.
Установка требует Python 3.10 или новее и GPU с поддержкой CUDA. Модель была протестирована с PyTorch 2.8.0 и Transformers 4.57.3 на NVIDIA H20, охватывая различные языковые генерации и клонирование голосов. Код и веса модели выпущены под лицензией Apache License 2.0, способствуя открытому доступу и ответственному использованию. Хотя качество варьируется в зависимости от языка, модель представляет собой значительный шаг вперед в области реалистичного и многоязычного синтеза речи.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Audio8-TTS-Realistic-Air
Улучшенная реалистичность речи с естественной просодией и выразительной подачей
Широкий многоязычный охват, поддерживающий 23 языка
Компактная архитектура модели с 601 миллионом параметров основной модели
Клонирование голоса без примеров из эталонного аудио и транскрипта
Генерация речи без эталонной записи
Обслуживание на GPU с адаптером SGLang Omni для высокой производительности
Поддержка API для речи, совместимого с OpenAI /v1/audio/speech
Архитектура DualAR для продвинутой обработки аудио
Включенный нейронный аудиокодек с частотой 44,1 кГц
Включает токенизатор, процессор и пользовательский код Transformers
Поддерживает динамическую пакетную обработку и постраничное внимание
Лицензия Apache 2.0 для кода и весов модели
Интерактивная песочница для тестирования генерации речи и клонирования голосов
Начало работы с Audio8-TTS-Realistic-Air
Доступ к модели: Перейдите на страницу Edge0/Audio8-TTS-Realistic-Air на Hugging Face.
Настройка окружения: Убедитесь, что установлены Python 3.10+ и GPU с поддержкой CUDA.
Загрузка модели: Загрузите модель, используя пользовательский код Transformers с `trust_remote_code=True`.
Генерация речи: Используйте процессор для подготовки входных данных для генерации речи.
Выполнение клонирования голоса: Предоставьте чистую эталонную запись и ее точную транскрипцию для клонирования голоса без примеров.
Запуск вывода: Переместите входные данные на устройство модели и выполните шаги генерации и декодирования.
Развертывание для обслуживания: Используйте адаптер SGLang Omni для высокопроизводительного обслуживания на GPU с совместимым с OpenAI API.
Варианты использования Audio8-TTS-Realistic-Air
- Реалистичная генерация речи
- Создание многоязычного контента
- Клонирование голоса без примеров
- Интерактивные голосовые приложения
- Обслуживание аудио с высокой производительностью
- Исследования и разработки








