跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Audio8-TTS-Realistic-Air

Audio8-TTS-Realistic-Air 是一个具有 6 亿参数的文本转语音模型,提供增强的语音真实感和零样本语音克隆。它支持 23 种语言,扩展了其前身,并包括完整的模型检查点、神经音频编解码器、分词器和处理器。该模型旨在灵活生成语音并实现高吞吐量的 GPU 服务。

查看模型
分享
查看模型
分享

Audio8-TTS-Realistic-Air 是由 Edge0 开发的先进文本转语音(TTS)模型,现已在 Hugging Face 上提供。基于 Audio8-TTS-Preview-0.6b,此版本显著提高了语音的真实感,提供更自然的韵律和富有表现力的传递,同时保持紧凑的 6 亿参数架构。

阅读更多

该模型具有更广泛的多语言覆盖,支持 23 种语言。这包括预览版本中的 11 种语言(粤语、中文、荷兰语、英语、法语、德语、意大利语、日语、韩语、波兰语、西班牙语)和 12 种新增语言(阿拉伯语、芬兰语、印地语、印尼语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语、越南语)。它利用与前身相同的 Transformers 推理接口,使开发者能够轻松访问。

Audio8-TTS-Realistic-Air 包括完整的模型检查点、44.1 kHz 神经音频编解码器、分词器、处理器和自定义 Transformers 代码。它支持灵活的生成,提供从参考录音和转录文本进行零样本语音克隆的能力,以及无需参考的语音生成。用户可以在 Hugging Face ZeroGPU 上的互动 Playground 中实验这些功能。

对于高吞吐量应用,该模型通过 SGLang Omni 适配器提供 GPU 服务。该适配器提供分页注意力、动态批处理和与 OpenAI 兼容的语音 API,确保高效和可扩展的部署。该模型的架构为 DualAR 设计,灵感来自 Fish Audio S2 Pro,采用慢速 AR 转换器预测语义标记和快速 AR 转换器预测编解码器代码本。

安装需要 Python 3.10 或更高版本和支持 CUDA 的 GPU。该模型已在 NVIDIA H20 上使用 PyTorch 2.8.0 和 Transformers 4.57.3 进行了烟雾测试,涵盖了各种语言生成和语音克隆。代码和模型权重根据 Apache License 2.0 发布,促进开放访问和负责任的使用。虽然质量因语言而异,但该模型在真实和多语言文本转语音合成方面代表了重要的进步。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 通过自然的韵律和富有表现力的传递提高语音真实感

  • 支持 23 种语言的更广泛多语言覆盖

  • 具有 6.01 亿主模型参数的紧凑模型架构

  • 从参考音频和转录文本进行零样本语音克隆

  • 无需参考录音的语音生成

  • 通过 SGLang Omni 适配器提供高吞吐量的 GPU 服务

  • 支持与 OpenAI 兼容的 /v1/audio/speech API

  • 用于高级音频处理的 DualAR 架构

  • 捆绑的 44.1 kHz 神经音频编解码器

  • 包括分词器、处理器和自定义 Transformers 代码

  • 支持动态批处理和分页注意力

  • 代码和模型权重根据 Apache License 2.0 发布

  • 用于测试语音生成和语音克隆的互动 Playground

  1. 访问模型:导航到 Hugging Face 上的 Edge0/Audio8-TTS-Realistic-Air 页面。

  2. 设置环境:确保安装了 Python 3.10 及以上版本和支持 CUDA 的 GPU。

  3. 加载模型:使用自定义 Transformers 代码加载模型,设置 `trust_remote_code=True`。

  4. 生成语音:使用处理器准备语音生成的输入。

  5. 执行语音克隆:提供干净的参考录音及其准确的转录文本以进行零样本语音克隆。

  6. 运行推理:将输入移动到模型设备并执行生成和解码步骤。

  7. 部署服务:利用 SGLang Omni 适配器通过与 OpenAI 兼容的 API 提供高吞吐量的 GPU 服务。

  • 真实感语音生成
  • 多语言内容创作
  • 零样本语音克隆
  • 互动语音应用
  • 高吞吐量音频服务
  • 研究与开发

Edge0 旗下产品

Audio8-TTS-Realistic-0.6b 中的模型。

Audio8-TTS-Realistic-Air 评价

加载中...

与 Audio8-TTS-Realistic-Air 类似的热门AI工具

Audio8-TTS-Realistic-0.6b 是一个文本转语音模型,提供改进的语音真实感和零样本语音克隆。它支持 23 种语言,并使用紧凑的 0.6B 架构。

AI 模型与大语言模型
查看工具

文本转语音模型,提供改进的语音真实感和零样本语音克隆。它支持 23 种语言,并使用紧凑的 0.6B 架构。Audio8-TTS-Realistic-0.6b 是一个文本转语音模型,提供改进的语音真实感和零样本语音克隆。它支持 23 种语言,并使用紧凑的 0.6B 架构。

AI 模型与大语言模型
查看 AI 模型 Top 5

Bark AI Model

AI 模型

Bark是Suno开发的基于变换器的文本到音频模型,能够生成真实的多语言语音和其他音频形式。它支持通过预训练模型检查点进行推理的研究。

AI 模型与大语言模型
查看工具

AI 模型

Suno开发的基于变换器的文本到音频模型,能够生成真实的多语言语音和其他音频形式。它支持通过预训练模型检查点进行推理的研究。Bark是Suno开发的基于变换器的文本到音频模型,能够生成真实的多语言语音和其他音频形式。它支持通过预训练模型检查点进行推理的研究。

AI 模型与大语言模型
查看 AI 模型 Top 5

Ming-3.0-tts-0.5B 是一个多语言语音合成模型,提供零样本语音克隆和自由形式控制。它支持多种语言和方言,能够明确控制情感、速度、音调和音量。

文字转语音
查看工具

多语言语音合成模型,提供零样本语音克隆和自由形式控制。它支持多种语言和方言,能够明确控制情感、速度、音调和音量。Ming-3.0-tts-0.5B 是一个多语言语音合成模型,提供零样本语音克隆和自由形式控制。它支持多种语言和方言,能够明确控制情感、速度、音调和音量。

文字转语音
查看 AI 模型 Top 5

Ming-3.0-tts-tiny 是一个具有副语言和自由形式控制的多语言语音合成模型。它支持零样本语音克隆和语音设计,提供对交付和说话风格的明确控制。

文字转语音
查看工具

具有副语言和自由形式控制的多语言语音合成模型。它支持零样本语音克隆和语音设计,提供对交付和说话风格的明确控制。Ming-3.0-tts-tiny 是一个具有副语言和自由形式控制的多语言语音合成模型。它支持零样本语音克隆和语音设计,提供对交付和说话风格的明确控制。

文字转语音
查看 AI 模型 Top 5

Dia-1.6B是Nari Labs开发的文本转语音模型,具有16亿个参数。它能够从文本生成逼真的对话,支持情感和语调控制,并能够产生非语言声音。目前仅支持英语。

文字转语音
查看工具

Nari Labs开发的文本转语音模型,具有16亿个参数。它能够从文本生成逼真的对话,支持情感和语调控制,并能够产生非语言声音。目前仅支持英语。Dia-1.6B是Nari Labs开发的文本转语音模型,具有16亿个参数。它能够从文本生成逼真的对话,支持情感和语调控制,并能够产生非语言声音。目前仅支持英语。

文字转语音
查看 AI 模型 Top 5

Chatterbox Turbo 是 Resemble AI 开发的开源文本转语音模型,具有超快的性能,参数量为 3.5 亿,延迟为 75 毫秒。它支持从 5 秒的音频中进行声音克隆,并提供用于表现性输出的副语言标签。

AI 模型与大语言模型
查看工具

Resemble AI 开发的开源文本转语音模型,具有超快的性能,参数量为 3.5 亿,延迟为 75 毫秒。它支持从 5 秒的音频中进行声音克隆,并提供用于表现性输出的副语言标签。Chatterbox Turbo 是 Resemble AI 开发的开源文本转语音模型,具有超快的性能,参数量为 3.5 亿,延迟为 75 毫秒。它支持从 5 秒的音频中进行声音克隆,并提供用于表现性输出的副语言标签。

AI 模型与大语言模型
查看 AI 模型 Top 5

Apriel Voice 27B Preview 是来自 ServiceNow 的开放音频文本到文本模型,拥有 270 亿个参数和 Transformers。它处理口头请求,推理对话上下文,并生成文本响应和工具调用。该模型通过添加语音接口来增强互动语音助手、客户支持和口语工具使用,同时保留文本和图像输入功能。

AI 模型与大语言模型
查看工具

来自 ServiceNow 的开放音频文本到文本模型,拥有 270 亿个参数和 Transformers。它处理口头请求,推理对话上下文,并生成文本响应和工具调用。该模型通过添加语音接口来增强互动语音助手、客户支持和口语工具使用,同时保留文本和图像输入功能。Apriel Voice 27B Preview 是来自 ServiceNow 的开放音频文本到文本模型,拥有 270 亿个参数和 Transformers。它处理口头请求,推理对话上下文,并生成文本响应和工具调用。该模型通过添加语音接口来增强互动语音助手、客户支持和口语工具使用,同时保留文本和图像输入功能。

AI 模型与大语言模型
查看 AI 模型 Top 5

Whisper-large-v3 是一个先进的自动语音识别和语音翻译模型,训练于超过 500 万小时的数据。它在多种语言中提供了更好的性能,旨在为 AI 领域的开发者和研究人员服务。

AI 模型与大语言模型
查看工具

先进的自动语音识别和语音翻译模型,训练于超过 500 万小时的数据。它在多种语言中提供了更好的性能,旨在为 AI 领域的开发者和研究人员服务。Whisper-large-v3 是一个先进的自动语音识别和语音翻译模型,训练于超过 500 万小时的数据。它在多种语言中提供了更好的性能,旨在为 AI 领域的开发者和研究人员服务。

精选AI 模型与大语言模型
查看 AI 模型 Top 5
1/8