Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Audio8-TTS-Realistic-Air

AI-моделиИИ-модели и LLMОткрытый код · Веб

Audio8-TTS-Realistic-Air — это модель синтеза речи с 0,6 миллиарда параметров, предлагающая улучшенную реалистичность речи и клонирование голоса без примеров. Она поддерживает 23 языка, расширяя возможности своего предшественника, и включает полный контрольный экземпляр модели, нейронный аудиокодек, токенизатор и процессор. Модель предназначена для гибкой генерации речи и высокопроизводительного обслуживания на GPU.

Открыть модель
Поделиться
Открыть модель
Поделиться

Audio8-TTS-Realistic-Air — это продвинутая модель синтеза речи (TTS), разработанная компанией Edge0 и доступная на Hugging Face. Основываясь на Audio8-TTS-Preview-0.6b, этот релиз значительно улучшает реалистичность речи, обеспечивая более естественную просодию и выразительную подачу, при этом сохраняя компактную архитектуру с 0,6 миллиарда параметров.

Читать далее

Модель обладает более широким многоязычным охватом, поддерживая 23 языка. Это включает 11 языков из версии Preview (кантонский, китайский, голландский, английский, французский, немецкий, итальянский, японский, корейский, польский, испанский) и 12 новых языков (арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий, вьетнамский). Она использует тот же интерфейс вывода Transformers, что и ее предшественник, что делает ее доступной для разработчиков.

Audio8-TTS-Realistic-Air включает полный контрольный экземпляр модели, нейронный аудиокодек с частотой 44,1 кГц, токенизатор, процессор и пользовательский код Transformers. Она поддерживает гибкую генерацию, предлагая как клонирование голоса без примеров из эталонной записи и транскрипта, так и генерацию речи без эталонного материала. Пользователи могут экспериментировать с этими возможностями в интерактивной песочнице, размещенной на Hugging Face ZeroGPU.

Для приложений с высокой производительностью модель предлагает обслуживание на GPU через адаптер SGLang Omni. Этот адаптер обеспечивает постраничное внимание, динамическую пакетную обработку и совместимый с OpenAI API для речи, что гарантирует эффективное и масштабируемое развертывание. Архитектура модели представляет собой дизайн DualAR, вдохновленный Fish Audio S2 Pro, с медленным AR-трансформером, предсказывающим семантические токены, и быстрым AR-трансформером, предсказывающим кодовые книги кодека.

Установка требует Python 3.10 или новее и GPU с поддержкой CUDA. Модель была протестирована с PyTorch 2.8.0 и Transformers 4.57.3 на NVIDIA H20, охватывая различные языковые генерации и клонирование голосов. Код и веса модели выпущены под лицензией Apache License 2.0, способствуя открытому доступу и ответственному использованию. Хотя качество варьируется в зависимости от языка, модель представляет собой значительный шаг вперед в области реалистичного и многоязычного синтеза речи.

  • КатегорияИИ-модели и LLM
  • Модель ценообразованияОткрытый код
  • РазвёртываниеОблако
  • ПлатформыВеб

  • Улучшенная реалистичность речи с естественной просодией и выразительной подачей

  • Широкий многоязычный охват, поддерживающий 23 языка

  • Компактная архитектура модели с 601 миллионом параметров основной модели

  • Клонирование голоса без примеров из эталонного аудио и транскрипта

  • Генерация речи без эталонной записи

  • Обслуживание на GPU с адаптером SGLang Omni для высокой производительности

  • Поддержка API для речи, совместимого с OpenAI /v1/audio/speech

  • Архитектура DualAR для продвинутой обработки аудио

  • Включенный нейронный аудиокодек с частотой 44,1 кГц

  • Включает токенизатор, процессор и пользовательский код Transformers

  • Поддерживает динамическую пакетную обработку и постраничное внимание

  • Лицензия Apache 2.0 для кода и весов модели

  • Интерактивная песочница для тестирования генерации речи и клонирования голосов

  1. Доступ к модели: Перейдите на страницу Edge0/Audio8-TTS-Realistic-Air на Hugging Face.

  2. Настройка окружения: Убедитесь, что установлены Python 3.10+ и GPU с поддержкой CUDA.

  3. Загрузка модели: Загрузите модель, используя пользовательский код Transformers с `trust_remote_code=True`.

  4. Генерация речи: Используйте процессор для подготовки входных данных для генерации речи.

  5. Выполнение клонирования голоса: Предоставьте чистую эталонную запись и ее точную транскрипцию для клонирования голоса без примеров.

  6. Запуск вывода: Переместите входные данные на устройство модели и выполните шаги генерации и декодирования.

  7. Развертывание для обслуживания: Используйте адаптер SGLang Omni для высокопроизводительного обслуживания на GPU с совместимым с OpenAI API.

  • Реалистичная генерация речи
  • Создание многоязычного контента
  • Клонирование голоса без примеров
  • Интерактивные голосовые приложения
  • Обслуживание аудио с высокой производительностью
  • Исследования и разработки

От Edge0

Модель в Audio8-TTS-Realistic-0.6b.

Отзывы о Audio8-TTS-Realistic-Air

Загрузка...

Популярные ИИ-инструменты, похожие на Audio8-TTS-Realistic-Air

Audio8-TTS-Realistic-0.6b — это модель синтеза речи, предлагающая улучшенную реалистичность речи и возможность клонирования голоса без примеров. Она поддерживает 23 языка и…

ИИ-модели и LLM
Открыть инструмент

Модель синтеза речи, предлагающая улучшенную реалистичность речи и возможность клонирования голоса без примеров. Она поддерживает 23 языка и…Audio8-TTS-Realistic-0.6b — это модель синтеза речи, предлагающая улучшенную реалистичность речи и возможность клонирования голоса без примеров. Она поддерживает 23 языка и…

ИИ-модели и LLM
Топ-5: AI-модели

Модель Bark AI

AI-модели

Bark — это модель преобразования текста в аудио на основе трансформеров от Suno, способная генерировать реалистичную многоязычную речь и другие аудиоформы. Она поддерживает…

ИИ-модели и LLM
Открыть инструмент

AI-модели

Bark — это модель преобразования текста в аудио на основе трансформеров от Suno, способная генерировать реалистичную многоязычную речь и другие аудиоформы. Она поддерживает…

ИИ-модели и LLM
Топ-5: AI-модели

Ming-3.0-tts-0.5B

AI-модели

Ming-3.0-tts-0.5B — это многоязычная модель синтеза речи, предлагающая клонирование голоса без обучения и свободное управление. Она поддерживает множество языков и диалектов,…

Синтез речи из текста
Открыть инструмент

AI-модели

Многоязычная модель синтеза речи, предлагающая клонирование голоса без обучения и свободное управление. Она поддерживает множество языков и диалектов,…Ming-3.0-tts-0.5B — это многоязычная модель синтеза речи, предлагающая клонирование голоса без обучения и свободное управление. Она поддерживает множество языков и диалектов,…

Синтез речи из текста
Топ-5: AI-модели

Ming-3.0-tts-tiny

AI-модели

Ming-3.0-tts-tiny — это многоязычная модель синтеза речи с паралингвистическим и свободным управлением. Она поддерживает клонирование голоса без обучения и проектирование голоса,…

Синтез речи из текста
Открыть инструмент

AI-модели

Многоязычная модель синтеза речи с паралингвистическим и свободным управлением. Она поддерживает клонирование голоса без обучения и проектирование голоса,…Ming-3.0-tts-tiny — это многоязычная модель синтеза речи с паралингвистическим и свободным управлением. Она поддерживает клонирование голоса без обучения и проектирование голоса,…

Синтез речи из текста
Топ-5: AI-модели

Dia-1.6B — это модель синтеза речи от Nari Labs с 1,6 миллиарда параметров. Она генерирует реалистичный диалог из транскриптов, поддерживает управление эмоциями и тоном, а также…

Синтез речи из текста
Открыть инструмент

Dia-1.6B — это модель синтеза речи от Nari Labs с 1,6 миллиарда параметров. Она генерирует реалистичный диалог из транскриптов, поддерживает управление эмоциями и тоном, а также…

Синтез речи из текста
Топ-5: AI-модели

Chatterbox Turbo

AI-модели

Chatterbox Turbo — это модель синтеза речи с открытым исходным кодом от Resemble AI, предлагающая ультрабыструю производительность с 350 миллионами параметров и задержкой 75 мс.…

ИИ-модели и LLM
Открыть инструмент

AI-модели

Модель синтеза речи с открытым исходным кодом от Resemble AI, предлагающая ультрабыструю производительность с 350 миллионами параметров и задержкой 75 мс.…Chatterbox Turbo — это модель синтеза речи с открытым исходным кодом от Resemble AI, предлагающая ультрабыструю производительность с 350 миллионами параметров и задержкой 75 мс.…

ИИ-модели и LLM
Топ-5: AI-модели

Apriel Voice 27B Preview — это открытая модель аудио-текст-в-текст от ServiceNow, созданная с использованием 27 миллиардов параметров и архитектуры Transformers. Она обрабатывает…

ИИ-модели и LLM
Открыть инструмент

Открытая модель аудио-текст-в-текст от ServiceNow, созданная с использованием 27 миллиардов параметров и архитектуры Transformers. Она обрабатывает…Apriel Voice 27B Preview — это открытая модель аудио-текст-в-текст от ServiceNow, созданная с использованием 27 миллиардов параметров и архитектуры Transformers. Она обрабатывает…

ИИ-модели и LLM
Топ-5: AI-модели

whisper-large-v3

AI-модели

Whisper-large-v3 — это продвинутая модель для автоматического распознавания речи и перевода речи, обученная на более чем 5 миллионах часов данных. Она предлагает улучшенную…

ИИ-модели и LLM
Открыть инструмент

AI-модели

Продвинутая модель для автоматического распознавания речи и перевода речи, обученная на более чем 5 миллионах часов данных. Она предлагает улучшенную…Whisper-large-v3 — это продвинутая модель для автоматического распознавания речи и перевода речи, обученная на более чем 5 миллионах часов данных. Она предлагает улучшенную…

РекомендованоИИ-модели и LLM
Топ-5: AI-модели
1 из 8