Descripción
dots.tts.edit V1.1 es un modelo autorregresivo continuo avanzado desarrollado para la edición sofisticada de voz y la síntesis de texto a voz (TTS) en cero disparos. Este modelo ofrece un control granular sobre el habla, permitiendo a los usuarios realizar una amplia gama de modificaciones mientras se mantiene la integridad de la voz del hablante y el entorno acústico circundante.
Leer más
El modelo soporta operaciones de edición completas, incluyendo reemplazo de texto, inserción y eliminación, que son cruciales para refinar el contenido hablado. Más allá de la manipulación básica de texto, proporciona control localizado sobre la emoción y permite descripciones de estilo en forma libre, habilitando ajustes matizados en la entrega del habla. Los usuarios también pueden controlar con precisión el tono y la velocidad de habla, insertar o reducir pausas, y aplicar mejoras de voz u operaciones de audio de fondo. Una capacidad clave es la composición de múltiples operaciones de edición, ofreciendo flexibilidad para tareas de edición complejas.
dots.tts.edit V1.1 es multilingüe, soportando tanto la edición de voz en inglés como en mandarín y la síntesis en cero disparos. Genera audio de alta calidad a 48 kHz. Los pesos centrales del modelo utilizan precisión BF16, mientras que el codificador de hablante y el vocoder mantienen pesos FP32 para un rendimiento óptimo. El modelo se puede acceder a través de una interfaz de línea de comandos (CLI) para la edición de voz o a través de una API de Python para aplicaciones más integradas. También incluye un entorno interactivo para experimentación local.
La instalación implica instalar la última rama principal de dots.tts y sus dependencias recomendadas. La CLI requiere audio fuente, una instrucción etiquetada y una ruta de salida, con transcripciones fuente y objetivo opcionales. La API de Python soporta varias etiquetas estructurales para un control detallado sobre las ediciones. Para TTS en cero disparos, el DotsTtsEditRuntime proporciona funciones `generate` y `generate_stream`.
Se aconseja a los usuarios utilizar el modelo de manera responsable. El habla generada o editada puede contener ocasionalmente errores en pronunciación, temporización, similitud del hablante o seguimiento de instrucciones. El modelo no debe ser utilizado para suplantación, engañar a los oyentes, violar el consentimiento o crear contenido ilegal. Se requiere consentimiento explícito de los hablantes para utilizar sus voces. El audio compartido públicamente que podría confundirse con grabaciones auténticas y no modificadas debe ser claramente divulgado como generado o editado por IA. El uso indebido puede ser reportado a través de las discusiones de la comunidad del repositorio del modelo.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de dots.tts.edit
Modelo autorregresivo continuo para la edición de voz
Síntesis de texto a voz en cero disparos
Reemplazo, inserción y eliminación de texto
Control localizado de emoción y descripciones de estilo en forma libre
Control de tono y velocidad de habla
Inserción y reducción de pausas
Mejora de voz y operaciones de audio de fondo
Composición de múltiples operaciones de edición
Preserva el contexto acústico y la identidad del hablante fuera de las regiones editadas
Soporta edición y síntesis de voz en inglés y mandarín
Produce salida de audio a 48 kHz
Interfaz de línea de comandos (CLI) para la edición de voz
API de Python para integración
Entorno de edición local interactivo disponible
Pesos centrales BF16 con codificador de hablante y vocoder FP32
Primeros pasos con dots.tts.edit
Instalar Dependencias: Instalar la última rama principal de dots.tts y sus dependencias recomendadas.
Preparar Audio Fuente: Proporcionar audio fuente para las operaciones de edición.
Definir Instrucciones: Crear instrucciones etiquetadas para las ediciones de voz deseadas, incluyendo texto, emoción, controles de tono o velocidad.
Ejecutar Comando CLI: Usar la CLI de edición de voz con audio fuente, instrucción etiquetada y ruta de salida.
Sobrescribir Transcripciones (Opcional): Usar --source-text y --target-text para sobrescribir transcripciones derivadas si es necesario.
Ajustar Guía del Hablante (Opcional): Controlar la guía del hablante con los parámetros --use-xvector y --speaker-scale.
Integrar a través de la API de Python: Utilizar la API de Python con etiquetas estructurales como <del>, <ins>, <emo>, <pitch> para control programático.
Generar TTS en Cero Disparos: Usar funciones `generate` o `generate_stream` del DotsTtsEditRuntime para la síntesis de texto a voz.
Casos de uso de dots.tts.edit
- Refinamiento de Contenido de Voz
- Ajuste de Emoción y Estilo
- Control de Prosodia
- Mejora de Audio
- TTS en Cero Disparos
- Producción de Voz Multilingüe
- Experimentación Interactiva de Voz







