跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Sophon-Realtime v1

Sophon-Realtime v1 提供开放的全双工语音模型,旨在理解和响应语音语调。该项目使 Tag 和 Flash 功能能够在单个 GPU 上高效运行,使用 vLLM-Omni,目前端到端能力处于预览阶段。它为各种应用提供先进的语音交互,专注于自然和响应式的沟通。

查看仓库
分享
查看仓库
分享

Sophon-Realtime v1 是一个开源项目,专注于开发能够感知和响应用户语音语调的全双工语音模型。该先进能力旨在创造更自然和引人入胜的语音交互,超越简单的语音识别和合成,达到对人类沟通的更细致理解。

阅读更多

Sophon-Realtime v1 的核心包括「Tag」和「Flash」组件,这些组件经过优化,可以在单个 GPU 上使用 vLLM-Omni 运行。这种高效性允许强大的语音处理能力,而无需大量硬件资源。该项目正在积极开发端到端(E2E)语音模型,目前此功能处于预览阶段,表明其综合语音处理管道的持续进展。

该代码库显示出活跃的开发,最近在各个分支上有提交。例如,`finetune` 分支突出了「Expressive v1 release」的添加,其中包括一个并发语音引擎和网关,表明其专注于增强合成语音的情感和动态范围。`flash` 分支提到从参考剪辑进行零样本语音克隆,表明其具备个性化语音生成的能力。

Sophon-Realtime v1 旨在为对前沿语音 AI 感兴趣的开发者和研究人员提供支持。其开源特性促进了协作,并允许在需要复杂语音交互的各种应用中进行定制和集成。该项目强调实时性能和处理复杂对话流的能力,使其适用于虚拟助手、交互式语音响应系统和先进的沟通工具等应用。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 开放的全双工语音模型

  • 语调感知和响应性发言

  • Tag 和 Flash 组件

  • 使用 vLLM-Omni 的单 GPU 操作

  • 端到端语音模型(预览)

  • 具有并发发言引擎的 Expressive v1 发布

  • 用于实时模式兼容性的网关

  • 从参考剪辑进行零样本语音克隆

  • 在 Tag 中的长请求流的硬保护

  • 与 Tag 和 Flash 兼容的 GPT-Live 网关

  • Sophon-Realtime-32B-E2E 模型(4 步解码器)

  1. 克隆代码库:通过克隆 adventists-ai/sophon-realtime GitHub 代码库获取项目。

  2. 安装依赖项:使用 `pip install sophon-realtime` 安装必要的 Python 包和其他要求。

  3. 查看文档:查看 `README.md` 和 `README_CN.md` 文件以获取详细的设置和使用说明。

  4. 微调模型:利用 `finetune` 分支添加表现力语音能力和并发发言引擎。

  5. 实现语音克隆:使用 `flash` 组件和参考音频剪辑实验零样本语音克隆。

  6. 部署实时模式:设置与 GPT-Live 兼容的网关,以实现实时的 Tag 和 Flash 功能。

  7. 构建 E2E 模型:使用 `scripts` 目录构建和集成像 Sophon-Realtime-32B-E2E 这样的端到端模型。

  • 实时语音助手
  • 交互式语音响应(IVR)
  • 个性化语音生成
  • 表现力 AI 叙述
  • AI 驱动的沟通工具
  • 语音到语音翻译

Sophon-Realtime v1 评价

加载中...

与 Sophon-Realtime v1 类似的热门AI工具

Open-LLM-VTuber

AI GitHub 仓库

Open-LLM-VTuber 使用户能够与任何大型语言模型 (LLM) 进行免提语音交互,具有语音中断和 Live2D 头像功能。它在各个平台上本地运行。

AI角色与角色扮演

AI角色与角色扮演 排名第 19 位

查看工具

AI GitHub 仓库

使用户能够与任何大型语言模型 (LLM) 进行免提语音交互,具有语音中断和 Live2D 头像功能。它在各个平台上本地运行。Open-LLM-VTuber 使用户能够与任何大型语言模型 (LLM) 进行免提语音交互,具有语音中断和 Live2D 头像功能。它在各个平台上本地运行。

AI角色与角色扮演
AI角色与角色扮演 排名第 19 位

ESPnet

AI GitHub 仓库

ESPnet 是一个用于端到端语音处理的开源工具包。它提供了用于自动语音识别 (ASR)、文本到语音合成 (TTS) 和语音增强等任务的全面脚本和工具。用户可以使用其灵活的框架轻松运行推理、微调现有模型或实现自定义解决方案。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

用于端到端语音处理的开源工具包。它提供了用于自动语音识别 (ASR)、文本到语音合成 (TTS) 和语音增强等任务的全面脚本和工具。用户可以使用其灵活的框架轻松运行推理、微调现有模型或实现自定义解决方案。ESPnet 是一个用于端到端语音处理的开源工具包。它提供了用于自动语音识别 (ASR)、文本到语音合成 (TTS) 和语音增强等任务的全面脚本和工具。用户可以使用其灵活的框架轻松运行推理、微调现有模型或实现自定义解决方案。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

VibeVoice

AI GitHub 仓库

VibeVoice是由微软开发的开源前沿语音AI项目,托管在GitHub上。它提供了先进的语音人工智能能力,包括流式自动语音识别(ASR)推理和统一的文本转语音(TTS)与ASR环境。该代码库积极维护,最近的提交集中在架构更新和文档上,邀请开发者社区的贡献。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

由微软开发的开源前沿语音AI项目,托管在GitHub上。它提供了先进的语音人工智能能力,包括流式自动语音识别(ASR)推理和统一的文本转语音(TTS)与ASR环境。该代码库积极维护,最近的提交集中在架构更新和文档上,邀请开发者社区的贡献。VibeVoice是由微软开发的开源前沿语音AI项目,托管在GitHub上。它提供了先进的语音人工智能能力,包括流式自动语音识别(ASR)推理和统一的文本转语音(TTS)与ASR环境。该代码库积极维护,最近的提交集中在架构更新和文档上,邀请开发者社区的贡献。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Voicebox

AI GitHub 仓库

Voicebox 是一个开源的 AI 语音工作室,允许用户克隆、听写和创建语音项目。它提供了一个语音合成和处理的平台,非常适合开发人员和音频工程师。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

开源的 AI 语音工作室,允许用户克隆、听写和创建语音项目。它提供了一个语音合成和处理的平台,非常适合开发人员和音频工程师。Voicebox 是一个开源的 AI 语音工作室,允许用户克隆、听写和创建语音项目。它提供了一个语音合成和处理的平台,非常适合开发人员和音频工程师。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

SGLang-Omni

AI GitHub 仓库

SGLang-Omni 是一个高性能的服务框架,专为文本到语音(TTS)和自动语音识别(ASR)等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。

MLOps 与模型部署

AI 语音生成器 排名第 78 位

查看工具

AI GitHub 仓库

高性能的服务框架,专为文本到语音(TTS)和自动语音识别(ASR)等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。SGLang-Omni 是一个高性能的服务框架,专为文本到语音(TTS)和自动语音识别(ASR)等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。

MLOps 与模型部署
AI 语音生成器 排名第 78 位

NVIDIA NemotronLabs VoiceChat 是一个实时全双工语音模型,用于对话式人工智能。它将语音理解和生成集成在一个架构中,减少延迟并增强自然对话流。

AI 模型与大语言模型
查看工具

实时全双工语音模型,用于对话式人工智能。它将语音理解和生成集成在一个架构中,减少延迟并增强自然对话流。NVIDIA NemotronLabs VoiceChat 是一个实时全双工语音模型,用于对话式人工智能。它将语音理解和生成集成在一个架构中,减少延迟并增强自然对话流。

AI 模型与大语言模型
查看 AI 模型 Top 5

GPT-SoVITS 是一个语音克隆模型,使用户能够仅使用一分钟的语音数据创建高质量的文本转语音 (TTS) 输出。它利用少量学习技术进行有效的语音合成。

AI 语音生成器

AI GitHub 仓库 排名第 134 位

查看工具

语音克隆模型,使用户能够仅使用一分钟的语音数据创建高质量的文本转语音 (TTS) 输出。它利用少量学习技术进行有效的语音合成。GPT-SoVITS 是一个语音克隆模型,使用户能够仅使用一分钟的语音数据创建高质量的文本转语音 (TTS) 输出。它利用少量学习技术进行有效的语音合成。

精选AI 语音生成器
AI GitHub 仓库 排名第 134 位

Chatterbox Turbo 是 Resemble AI 开发的开源文本转语音模型,具有超快的性能,参数量为 3.5 亿,延迟为 75 毫秒。它支持从 5 秒的音频中进行声音克隆,并提供用于表现性输出的副语言标签。

AI 模型与大语言模型
查看工具

Resemble AI 开发的开源文本转语音模型,具有超快的性能,参数量为 3.5 亿,延迟为 75 毫秒。它支持从 5 秒的音频中进行声音克隆,并提供用于表现性输出的副语言标签。Chatterbox Turbo 是 Resemble AI 开发的开源文本转语音模型,具有超快的性能,参数量为 3.5 亿,延迟为 75 毫秒。它支持从 5 秒的音频中进行声音克隆,并提供用于表现性输出的副语言标签。

AI 模型与大语言模型
查看 AI 模型 Top 5
1/8