描述
NVIDIA Nemotron 3.5 Transcribe 是一个复杂的自动语音识别(ASR)模型,具有 340 亿参数(其中 43 亿为活跃参数),并集成了音频编码器。其架构为 Mamba-2–Transformer 混合专家模型,增强了并行专家编码器以支持 ASR 和说话者识别。该模型旨在实现高准确度、可定制性和微调,成为开发者和研究人员的强大工具。
阅读更多
该模型支持广泛的任务,包括逐字和书面形式的转录、上下文转录、说话者归属转录、丰富转录、语音翻译、语言识别和音频问答。它在 40 种语言中表现出色,质量水平从“领先”到“支持”不等,涵盖不同地区和 ASR、翻译、多说话者 ASR 及代码切换等能力。
Nemotron 3.5 Transcribe 针对 NVIDIA 硬件进行了优化,特别需要 1× H100 80 GB 以实现最佳性能。它支持 BF16 精度,同时也提供 FP8 和 NVFP4 变体。该模型可以处理最长 1 小时的录音,具有 65,536 个标记的上下文长度。输入包括音频(WAV、FLAC、MP3、OGG)和文本,生成带有可选单词时间戳的文本输出。
该模型在多项基准测试中表现出色,包括多说话者 ASR、风格控制、英语 ASR、长篇 ASR 和多语言 ASR。其提示指南为不同用例提供灵活选项,例如生成研究转录、可读文本用于字幕、转录特定领域词汇、识别说话者、翻译语音以及回答音频录音中的问题。
NVIDIA Nemotron 3.5 Transcribe 采用 OpenMDW-1.1 许可,确保使用条款明确。它旨在为开发者和研究人员构建需要特定应用评估和审查的语音和音频应用。该模型强大的能力和广泛的语言支持使其成为复杂音频处理和理解任务的多功能解决方案。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台Linux, Windows
NVIDIA Nemotron 3.5 Transcribe亮点
340 亿参数(43 亿活跃)和音频编码器
Mamba-2–Transformer 混合专家架构
支持 BF16、FP8 和 NVFP4 精度
上下文长度为 65,536 个标记,支持最长 1 小时的录音
处理音频和文本输入,输出带有可选单词时间戳的文本
支持 40 种语言的转录和翻译
执行逐字和书面形式的转录
提供上下文和说话者归属转录
包括丰富转录和语音翻译能力
具备语言识别和音频问答功能
针对 NVIDIA H100 80 GB 硬件部署进行了优化
原生多标记预测(MTP)用于推测解码
通过聊天模板配置推理模式
在多个 ASR 基准测试中实现高准确度
OpenMDW-1.1 许可
NVIDIA Nemotron 3.5 Transcribe入门
访问模型:通过 Hugging Face 获取 NVIDIA Nemotron 3.5 Transcribe 模型的访问权限。
设置环境:配置必要的 NVIDIA 硬件(例如 H100 80 GB)和推理运行时(vLLM、Hugging Face Transformers)。
准备输入:提供 WAV、FLAC、MP3 或 OGG 格式的音频文件和/或文本提示。
制定提示:使用推荐的提示结构进行特定任务,如逐字 ASR、清晰转录、说话者归属或语音翻译。
发送请求:向模型服务器发送请求,指定解码模式和推理设置。
处理输出:接收生成的文本输出,可能包括转录、翻译、说话者标签或音频问题的答案。
集成软件:将模型集成到使用支持的架构和操作系统(Linux、Windows 通过 WSL2)的应用程序中。
NVIDIA Nemotron 3.5 Transcribe的使用案例
- 研究转录
- 字幕和笔记
- 技术讨论转录
- 会议审查工作流程
- 听写和语音接口
- 多语言媒体本地化
- 音频搜索和理解
- 代码切换转录
- 结构化值恢复
- 语音助手请求







