描述
Nemotron 3 Diarization 是由 NVIDIA 开发的先进说话者分离模型,旨在准确确定现实音频场景中“谁在何时说话”。该模型能够同时处理最多八个说话者,非常适合复杂的音频环境,如会议、播客和电话交谈。
阅读更多
该模型支持流式和离线推理,为不同的用例提供灵活性。流式推理利用到达顺序说话者缓存(AOSC)和 FIFO 队列来保持说话者身份,确保一致的分离结果。该模型的架构包括一个 31 层的 Transformer 编码器,采用旋转位置嵌入,处理 10 毫秒的 Mel 频谱输入特征。
Nemotron 3 Diarization 针对 NVIDIA GPU 加速系统进行了优化,包括 Ampere、Ada Lovelace、Blackwell 和 Hopper NVIDIA GPU。它与 NeMo 框架集成,允许在 AI 系统中无缝部署。该模型在多种数据集上进行训练,包括真实对话和模拟的多说话者音频混合,确保在各种音频条件下的强大性能。
该模型根据 OpenMDW 许可协议(版本 1.1)可用于商业和非商业用途。它提供可配置的输出帧分辨率,并支持分块推理,允许录音没有固定的最大持续时间。Nemotron 3 Diarization 是需要精确说话者识别和活动跟踪的应用的宝贵工具。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台Linux
Nemotron 3 Diarization亮点
支持最多 8 个说话者
流式和离线推理
31 层的 Transformer 架构
旋转位置嵌入
与 NeMo 框架集成
针对 NVIDIA GPU 优化
可配置的输出帧分辨率
OpenMDW 许可协议
Nemotron 3 Diarization入门
访问模型:访问 Hugging Face
认证:设置 NeMo 框架
设置环境:安装依赖项
通过 API 集成:使用 NeMo 管道
优化:配置延迟设置
Nemotron 3 Diarization的使用案例
- 会议分析
- 播客制作
- 电话交谈
- 语音识别
- 音频转录







