Описание
dots.tts.edit V1.1 — это продвинутая непрерывная авторегрессионная модель, разработанная для сложного редактирования речи и синтеза речи из текста без предварительного обучения (TTS). Эта модель предлагает детальный контроль над речью, позволяя пользователям выполнять широкий спектр модификаций, сохраняя целостность голоса говорящего и окружающей акустической среды.
Читать далее
Модель поддерживает комплексные операции редактирования, включая замену текста, вставку и удаление, которые имеют решающее значение для уточнения устного контента. Кроме базовой манипуляции с текстом, она предоставляет локализованный контроль над эмоциями и позволяет использовать описания стиля в свободной форме, что позволяет вносить тонкие корректировки в подачу речи. Пользователи также могут точно контролировать высоту тона и скорость речи, вставлять или сокращать паузы, а также применять улучшение речи или операции с фоновым аудио. Ключевой возможностью является составление нескольких операций редактирования, что обеспечивает гибкость для сложных задач редактирования.
dots.tts.edit V1.1 многоязычна, поддерживая редактирование речи и синтез без предварительного обучения как на английском, так и на мандаринском языках. Она генерирует аудио высокого качества с частотой 48 кГц. Основные веса модели используют точность BF16, в то время как кодировщик говорящего и вокодер поддерживают веса FP32 для оптимальной производительности. Модель доступна через интерфейс командной строки (CLI) для редактирования речи или через Python API для более интегрированных приложений. Она также включает интерактивную площадку для локальных экспериментов.
Установка включает в себя установку последней основной ветки dots.tts и ее рекомендуемых зависимостей. CLI требует исходное аудио, помеченную инструкцию и путь к выходному файлу, с необязательными исходными и целевыми транскрипциями. Python API поддерживает различные структурные теги для детального контроля над редактированием. Для синтеза речи без предварительного обучения DotsTtsEditRuntime предоставляет функции `generate` и `generate_stream`.
Пользователям рекомендуется ответственно использовать модель. Сгенерированная или отредактированная речь может иногда содержать ошибки в произношении, тайминге, сходстве говорящих или следовании инструкциям. Модель не должна использоваться для имитации, введения слушателей в заблуждение, нарушения согласия или создания незаконного контента. Явное согласие говорящих требуется для использования их голосов. Публично размещенное аудио, которое может быть ошибочно принято за аутентичные, неотредактированные записи, должно быть четко обозначено как сгенерированное или отредактированное ИИ. Злоупотребления могут быть сообщены через обсуждения сообщества в репозитории модели.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о dots.tts.edit
Непрерывная авторегрессионная модель для редактирования речи
Синтез речи из текста без предварительного обучения
Замена текста, вставка и удаление
Локализованный контроль эмоций и описания стиля в свободной форме
Контроль высоты тона и скорости речи
Вставка и сокращение пауз
Улучшение речи и операции с фоновым аудио
Составление нескольких операций редактирования
Сохраняет говорящего и акустический контекст за пределами редактируемых областей
Поддерживает редактирование и синтез речи на английском и мандаринском языках
Генерирует аудиовыход 48 кГц
Интерфейс командной строки (CLI) для редактирования речи
Python API для интеграции
Доступна интерактивная локальная площадка для редактирования
Основные веса BF16 с FP32 кодировщиком говорящего и вокодером
Начало работы с dots.tts.edit
Установите зависимости: Установите последнюю основную ветку dots.tts и ее рекомендуемые зависимости.
Подготовьте исходное аудио: Предоставьте исходное аудио для операций редактирования.
Определите инструкции: Создайте помеченные инструкции для желаемых редактирований речи, включая текст, эмоции, контроль высоты тона или скорости.
Выполните команду CLI: Используйте CLI для редактирования речи с исходным аудио, помеченной инструкцией и путем к выходному файлу.
Переопределите транскрипции (по желанию): Используйте --source-text и --target-text для переопределения производных транскрипций при необходимости.
Настройте руководство говорящего (по желанию): Контролируйте руководство говорящего с помощью параметров --use-xvector и --speaker-scale.
Интегрируйтесь через Python API: Используйте Python API с структурными тегами, такими как <del>, <ins>, <emo>, <pitch> для программного контроля.
Генерируйте синтез речи без предварительного обучения: Используйте функции `generate` или `generate_stream` из DotsTtsEditRuntime для синтеза речи из текста.
Варианты использования dots.tts.edit
- Уточнение речевого контента
- Корректировка эмоций и стиля
- Контроль просодии
- Улучшение аудио
- Синтез речи без предварительного обучения
- Многоязычное производство речи
- Интерактивные эксперименты с речью







