Описание
IndexTTS-2.5 — это сложная модель синтеза речи, разработанная IndexTeam и Bilibili. Она предназначена для клонирования голосов из одного эталонного аудиофайла, что делает её мощным инструментом для синтеза голоса. Модель поддерживает несколько языков, включая китайский, английский, японский, испанский и арабский, что позволяет осуществлять трансфер голосов между языками.
Читать далее
Одной из ключевых особенностей является управление эмоциями, которое отделено от тембра, предоставляя пользователям возможность манипулировать эмоциональным тоном синтезированной речи.
По сравнению с предшественником, IndexTTS-2, эта версия вводит поддержку дополнительных языков, таких как японский, испанский и арабский. Она также предлагает более быстрые времена вывода и улучшенную управляемость над китайским пиньинем, английскими фонемами CMU и японскими кана. Модель работает на основе GPT и использует декодер speech-to-mel с сопоставлением потока вместе с вокодером BigVGAN, имея около 0.8 миллиарда параметров.
IndexTTS-2.5 выводит звуковую волну с частотой 22.05 кГц и требует Python 3.10–3.11, графический процессор NVIDIA и около 6 ГБ видеопамяти для вывода. Пользователи должны загрузить веса модели, а вспомогательные модели загружаются в контрольные точки при первом запуске. Ограничения модели включают необходимость сегментации длинных текстов, что влияет на просодию на границах сегментов, и требование ответственности пользователя за получение согласия на клонирование голоса.
Модель лицензирована в соответствии с Соглашением о лицензии на использование модели bilibili, а её репозиторий доступен на GitHub. С почти 15,000 загрузками за последний месяц, IndexTTS-2.5 является популярным выбором для разработчиков и исследователей, заинтересованных в передовых возможностях синтеза речи.
- КатегорияСинтез речи из текста
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о IndexTTS-2.5
Клонирование голоса с нулевым обучением
Поддержка китайского, английского, японского, испанского, арабского
Трансфер голосов между языками
Управление эмоциями, отделенное от тембра
Более быстрые времена вывода
Улучшенная управляемость фонем
Вывод звуковой волны 22.05 кГц
Автогрессивный TTS с основой GPT
Начало работы с IndexTTS-2.5
Доступ к модели: посетите страницу Hugging Face
Аутентификация: настройте учетные данные доступа
Настройка окружения: установите Python 3.10–3.11 и необходимые библиотеки
Интеграция через API: используйте предоставленный API для интеграции
Оптимизация: настройте параметры для желаемого вывода
Варианты использования IndexTTS-2.5
- Клонирование голоса
- Многоязычный синтез
- Управление эмоциями
- Трансфер между языками
- Управление фонемами
