描述
dots.tts.edit V1.1 是一个先进的连续自回归模型,专为复杂的语音编辑和零-shot文本到语音(TTS)合成而开发。该模型提供对语音的细粒度控制,使用户能够在保持说话者声音和周围声学环境完整性的同时,执行广泛的修改。
阅读更多
该模型支持全面的编辑操作,包括文本替换、插入和删除,这对于精炼口语内容至关重要。除了基本的文本操作外,它还提供对情感的局部控制,并允许自由形式的风格描述,使语音传递的细微调整成为可能。用户还可以精确控制音调和语速,插入或减少暂停,并应用语音增强或背景音频操作。一个关键能力是组合多个编辑操作,为复杂的编辑任务提供灵活性。
dots.tts.edit V1.1 是多语言的,支持英语和普通话的语音编辑和零-shot合成。它生成高质量的48 kHz音频。模型的核心权重使用BF16精度,而说话者编码器和声码器保持FP32权重以实现最佳性能。该模型可以通过命令行接口(CLI)进行语音编辑,或通过Python API进行更集成的应用。它还包括一个用于本地实验的互动游乐场。
安装涉及安装最新的dots.tts主分支及其推荐的依赖项。CLI需要源音频、标记指令和输出路径,源和目标转录是可选的。Python API支持各种结构标签,以便对编辑进行详细控制。对于零-shot TTS,DotsTtsEditRuntime提供`generate`和`generate_stream`函数。
建议用户负责任地使用该模型。生成或编辑的语音可能偶尔包含发音、时机、说话者相似性或指令遵循方面的错误。该模型不应用于冒充、误导听众、违反同意或创建非法内容。使用说话者声音需要明确的同意。公开分享的音频如果可能被误认为是未经修改的真实录音,必须明确披露为AI生成或编辑的。误用可以通过模型库的社区讨论进行报告。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
dots.tts.edit亮点
用于语音编辑的连续自回归模型
零-shot文本到语音合成
文本替换、插入和删除
局部情感控制和自由形式风格描述
音调和语速控制
暂停插入和减少
语音增强和背景音频操作
多个编辑操作的组合
保留编辑区域外的说话者和声学上下文
支持英语和普通话的语音编辑和合成
生成48 kHz音频输出
用于语音编辑的命令行接口(CLI)
用于集成的Python API
可用的互动本地编辑游乐场
BF16核心权重与FP32说话者编码器和声码器
dots.tts.edit入门
安装依赖项:安装最新的dots.tts主分支及其推荐的依赖项。
准备源音频:提供用于编辑操作的源音频。
定义指令:创建标记指令以进行所需的语音编辑,包括文本、情感、音调或速率控制。
执行CLI命令:使用语音编辑CLI,提供源音频、标记指令和输出路径。
覆盖转录(可选):如有需要,使用--source-text和--target-text覆盖派生转录。
调整说话者指导(可选):使用--use-xvector和--speaker-scale参数控制说话者指导。
通过Python API集成:利用Python API与结构标签如<del>、<ins>、<emo>、<pitch>进行程序化控制。
生成零-shot TTS:使用DotsTtsEditRuntime中的`generate`或`generate_stream`函数进行文本到语音合成。
dots.tts.edit的使用案例
- 语音内容精炼
- 情感和风格调整
- 韵律控制
- 音频增强
- 零-shot TTS
- 多语言语音生成
- 互动语音实验







