描述
Ming-3.0-tts-tiny 是由 inclusionAI 开发的一个复杂的多语言语音合成模型。基于 Ling V3 主干,它采用了混合专家架构,具有 79 亿个总参数,每个令牌激活约 13 亿个参数。该模型支持多种语言,包括中文、英语、德语、西班牙语、法语、韩语和日语,并具有四川话和粤语的方言控制。
阅读更多
该模型提供从短参考片段进行零样本语音克隆的功能,并允许用户根据自然语言的说话者描述设计语音。它提供对交付和说话风格的自由形式控制,内置超过 100 种中文语音和 5 种英文语音。用户可以控制情感、速度、音调和音量等各种属性,并将呼吸、咳嗽、叹息和笑声等副语言元素融入合成中。
Ming-3.0-tts-tiny 需要一个单独的推理环境,使用 Python 3.10.15、PyTorch 和 torchaudio 2.7.1+cu118。该模型通过 Hugging Face 分发以获取检查点访问,而推理设置和使用说明可通过相关的 GitHub 存储库获得。该模型支持多种任务,包括多语言合成、副语言控制、播客对话等。
尽管具有先进的能力,该模型在韩语内容准确性和多语言及方言评估中的说话者相似性方面存在局限性。当单词缺乏情感信号时,情感控制可能会面临挑战,播客音频质量也是一个需要改进的领域。该模型在 MIT 许可证下发布,强调研究和合法创意使用。
- 类别文字转语音
- 定价模式开源
- 部署云端
- 平台网页版
Ming-3.0-tts-tiny亮点
混合专家架构
Ling V3 主干
零样本语音克隆
根据描述设计语音
多语言合成
四川话和粤语的方言控制
副语言元素集成
明确的情感、速度、音调和音量控制
Ming-3.0-tts-tiny入门
访问模型:访问 Hugging Face 存储库
身份验证:克隆 GitHub 存储库
设置环境:安装依赖项
通过 API 集成:使用 Python API 或 CLI
优化:调整任务参数
Ming-3.0-tts-tiny的使用案例
- 语音克隆
- 多语言合成
- 播客对话
- 副语言控制
- 语音设计








