描述
NVIDIA NemotronLabs VoiceChat 是一个先进的人工智能模型，旨在实现实时对话交互。它是一个全双工语音模型，将流式语音理解和生成集成在一个单一架构中。该模型消除了对多个模型或 API 交接的需求，显著减少了端到端延迟，并增强了对话的自然流畅性。
阅读更多
该模型基于音频信号进行操作，这些信号通过快速的 conformer 模块进行编码。这些音频标记随后由 Nemotron Nano V2 9B LLM 主干处理，以预测文本标记，随后这些标记被输入到 TTS 解码器中生成代理的语音。一个单独的输出通道用于预测工具调用脚本，使其成为第一个支持工具调用的开放全双工模型，同时保持自然的对话流。
NVIDIA NemotronLabs VoiceChat 对于自然语言处理和语音技术领域的研究人员、开发人员和专业人士特别有益。它适用于自动语音识别、文本到语音合成和语音助手开发等应用。该模型经过优化，可在 NVIDIA GPU 加速系统上运行，利用 NVIDIA 的硬件和软件框架实现更快的训练和推理时间。
该模型的架构是一个混合 Mamba/Transformer，具有 110 亿个参数，在智能和延迟之间提供了显著的权衡。它支持全球部署，并受 OpenMDW 许可协议第 1.1 版的管理。该模型于 2026 年 8 月 3 日发布，并在包括真实和合成语音数据在内的多样化数据集上进行了训练。
基准测试结果突显了其能力，该模型在 VoiceBench 和 Full-Duplex-Bench 1.0 的开放全双工模型中获得第二名。在 Full-Duplex-Bench v3 上，它在工具选择准确性方面也表现出色。尽管具有先进的能力，用户仍应注意通过广泛的内部测试识别的已知限制。
- 类别AI 模型与大语言模型
- 部署云端
- 平台Linux
NVIDIA NemotronLabs VoiceChat亮点
实时全双工语音模型
集成语音理解和生成
单一架构减少延迟
支持自然流畅的工具调用
针对 NVIDIA GPU 系统进行了优化
110 亿个参数
混合 Mamba/Transformer 架构
支持全球部署
NVIDIA NemotronLabs VoiceChat入门
访问模型：访问 Hugging Face 页面
身份验证：使用 API 密钥
设置环境：配置 NVIDIA GPU
通过 API 集成：使用 WebSocket 接口
优化：利用 CUDA 库
NVIDIA NemotronLabs VoiceChat的使用案例
- 语音识别
- 语音助手
- 文本到语音
- 工具调用
- 实时交互
