Descrição
dots.tts.edit V1.1 é um modelo autorregressivo contínuo avançado desenvolvido para edição sofisticada de fala e síntese de texto para fala (TTS) zero-shot. Este modelo oferece controle granular sobre a fala, permitindo que os usuários realizem uma ampla gama de modificações enquanto mantêm a integridade da voz do falante e do ambiente acústico circundante.
Ler mais
O modelo suporta operações de edição abrangentes, incluindo substituição de texto, inserção e exclusão, que são cruciais para refinar o conteúdo falado. Além da manipulação básica de texto, ele fornece controle localizado sobre a emoção e permite descrições de estilo em forma livre, possibilitando ajustes sutis na entrega da fala. Os usuários também podem controlar com precisão o tom e a taxa de fala, inserir ou reduzir pausas e aplicar aprimoramento de fala ou operações de áudio de fundo. Uma capacidade chave é a composição de múltiplas operações de edição, oferecendo flexibilidade para tarefas de edição complexas.
dots.tts.edit V1.1 é multilíngue, suportando edição de fala em inglês e mandarim e síntese zero-shot. Ele gera áudio de alta qualidade a 48 kHz. Os pesos principais do modelo utilizam precisão BF16, enquanto o codificador de falante e o vocoder mantêm pesos FP32 para desempenho ideal. O modelo pode ser acessado por meio de uma interface de linha de comando (CLI) para edição de fala ou através de uma API Python para aplicações mais integradas. Também inclui um playground interativo para experimentação local.
A instalação envolve a instalação da versão mais recente do ramo principal do dots.tts e suas dependências recomendadas. A CLI requer áudio de origem, uma instrução marcada e um caminho de saída, com transcrições de origem e destino opcionais. A API Python suporta várias tags estruturais para controle detalhado sobre as edições. Para TTS zero-shot, o DotsTtsEditRuntime fornece funções `generate` e `generate_stream`.
Os usuários são aconselhados a usar o modelo de forma responsável. A fala gerada ou editada pode ocasionalmente conter erros de pronúncia, tempo, semelhança do falante ou seguimento de instruções. O modelo não deve ser usado para impersonação, enganar ouvintes, violar consentimento ou criar conteúdo ilegal. O consentimento explícito dos falantes é necessário para usar suas vozes. Áudios compartilhados publicamente que possam ser confundidos com gravações autênticas e não modificadas devem ser claramente divulgados como gerados ou editados por IA. O uso indevido pode ser relatado por meio das discussões da Comunidade do repositório do modelo.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de dots.tts.edit
Modelo autorregressivo contínuo para edição de fala
Síntese de texto para fala zero-shot
Substituição, inserção e exclusão de texto
Controle localizado de emoção e descrições de estilo em forma livre
Controle de tom e taxa de fala
Inserção e redução de pausas
Aprimoramento de fala e operações de áudio de fundo
Composição de múltiplas operações de edição
Preserva o falante e o contexto acústico fora das regiões editadas
Suporta edição e síntese de fala em inglês e mandarim
Produz saída de áudio a 48 kHz
Interface de linha de comando (CLI) para edição de fala
API Python para integração
Playground de edição local interativo disponível
Pesos principais BF16 com codificador de falante e vocoder FP32
Primeiros passos com dots.tts.edit
Instalar Dependências: Instale a versão mais recente do ramo principal do dots.tts e suas dependências recomendadas.
Preparar Áudio de Origem: Forneça áudio de origem para operações de edição.
Definir Instruções: Crie instruções marcadas para as edições de fala desejadas, incluindo texto, emoção, controle de tom ou taxa.
Executar Comando CLI: Use a CLI de edição de fala com áudio de origem, instrução marcada e caminho de saída.
Substituir Transcrições (Opcional): Use --source-text e --target-text para substituir transcrições derivadas, se necessário.
Ajustar Orientação do Falante (Opcional): Controle a orientação do falante com os parâmetros --use-xvector e --speaker-scale.
Integrar via API Python: Utilize a API Python com tags estruturais como <del>, <ins>, <emo>, <pitch> para controle programático.
Gerar TTS Zero-Shot: Use as funções `generate` ou `generate_stream` do DotsTtsEditRuntime para síntese de texto para fala.
Casos de uso de dots.tts.edit
- Refinamento de Conteúdo de Fala
- Ajuste de Emoção e Estilo
- Controle de Prosódia
- Aprimoramento de Áudio
- TTS Zero-Shot
- Produção de Fala Multilíngue
- Experimentação Interativa de Fala







