描述
Audio8-TTS-Realistic-Air 是由 Edge0 开发的先进文本转语音(TTS)模型,现已在 Hugging Face 上提供。基于 Audio8-TTS-Preview-0.6b,此版本显著提高了语音的真实感,提供更自然的韵律和富有表现力的传递,同时保持紧凑的 6 亿参数架构。
阅读更多
该模型具有更广泛的多语言覆盖,支持 23 种语言。这包括预览版本中的 11 种语言(粤语、中文、荷兰语、英语、法语、德语、意大利语、日语、韩语、波兰语、西班牙语)和 12 种新增语言(阿拉伯语、芬兰语、印地语、印尼语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语、越南语)。它利用与前身相同的 Transformers 推理接口,使开发者能够轻松访问。
Audio8-TTS-Realistic-Air 包括完整的模型检查点、44.1 kHz 神经音频编解码器、分词器、处理器和自定义 Transformers 代码。它支持灵活的生成,提供从参考录音和转录文本进行零样本语音克隆的能力,以及无需参考的语音生成。用户可以在 Hugging Face ZeroGPU 上的互动 Playground 中实验这些功能。
对于高吞吐量应用,该模型通过 SGLang Omni 适配器提供 GPU 服务。该适配器提供分页注意力、动态批处理和与 OpenAI 兼容的语音 API,确保高效和可扩展的部署。该模型的架构为 DualAR 设计,灵感来自 Fish Audio S2 Pro,采用慢速 AR 转换器预测语义标记和快速 AR 转换器预测编解码器代码本。
安装需要 Python 3.10 或更高版本和支持 CUDA 的 GPU。该模型已在 NVIDIA H20 上使用 PyTorch 2.8.0 和 Transformers 4.57.3 进行了烟雾测试,涵盖了各种语言生成和语音克隆。代码和模型权重根据 Apache License 2.0 发布,促进开放访问和负责任的使用。虽然质量因语言而异,但该模型在真实和多语言文本转语音合成方面代表了重要的进步。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Audio8-TTS-Realistic-Air亮点
通过自然的韵律和富有表现力的传递提高语音真实感
支持 23 种语言的更广泛多语言覆盖
具有 6.01 亿主模型参数的紧凑模型架构
从参考音频和转录文本进行零样本语音克隆
无需参考录音的语音生成
通过 SGLang Omni 适配器提供高吞吐量的 GPU 服务
支持与 OpenAI 兼容的 /v1/audio/speech API
用于高级音频处理的 DualAR 架构
捆绑的 44.1 kHz 神经音频编解码器
包括分词器、处理器和自定义 Transformers 代码
支持动态批处理和分页注意力
代码和模型权重根据 Apache License 2.0 发布
用于测试语音生成和语音克隆的互动 Playground
Audio8-TTS-Realistic-Air入门
访问模型:导航到 Hugging Face 上的 Edge0/Audio8-TTS-Realistic-Air 页面。
设置环境:确保安装了 Python 3.10 及以上版本和支持 CUDA 的 GPU。
加载模型:使用自定义 Transformers 代码加载模型,设置 `trust_remote_code=True`。
生成语音:使用处理器准备语音生成的输入。
执行语音克隆:提供干净的参考录音及其准确的转录文本以进行零样本语音克隆。
运行推理:将输入移动到模型设备并执行生成和解码步骤。
部署服务:利用 SGLang Omni 适配器通过与 OpenAI 兼容的 API 提供高吞吐量的 GPU 服务。
Audio8-TTS-Realistic-Air的使用案例
- 真实感语音生成
- 多语言内容创作
- 零样本语音克隆
- 互动语音应用
- 高吞吐量音频服务
- 研究与开发








