描述
Granite Speech 5.0 2B 是一个紧凑且高效的语音语言模型,专为多语言自动语音识别(ASR)和双向自动语音翻译(AST)而开发。它支持包括英语、法语、德语、西班牙语、葡萄牙语和日语在内的多种语言。该模型在来自公共语料库和合成数据集的390,000小时音频上进行了训练,增强了其在日语ASR、关键词偏向ASR和语音翻译方面的能力。
阅读更多
与其前身Granite Speech 4.1 2B相比,该模型保持相同的参数数量,但在英语短语ASR的转录准确性上有所提高,并且对噪声和混响的鲁棒性增强。它还支持多语言ASR的输入语言ID提示,并改善了长语音和对话语音翻译的能力。
Granite Speech 5.0 2B 在各种基准测试中进行了评估,显示出在嘈杂和混响语音条件下的性能增强。该模型的关键词列表偏向能力也经过测试,证明其在ASR任务中转录关键词的有效性。
该模型架构包括一个具有16个变换器块的语音编码器、一个语音投影器和一个大型语言模型。它使用IBM的超级计算集群Blue Vela进行训练,配备NVIDIA H100 GPU。训练过程在8个H100 GPU上进行了40天。
Granite Speech 5.0 2B 旨在用于涉及语音输入处理的企业应用,特别是在语音转文本和语音翻译任务中。它在transformers版本4.52.1及以上版本中原生支持,并可以与各种平台集成以实现最佳性能。
- 类别AI 模型与大语言模型
- 部署云端
- 平台网页版
Granite Speech 5.0 2B亮点
多语言ASR和AST支持
提高的转录准确性
抗噪声和混响能力
输入语言ID提示
关键词偏向ASR和AST
标点和大写能力
在390,000小时音频上训练
支持的语言:英语、法语、德语、西班牙语、葡萄牙语、日语
Granite Speech 5.0 2B入门
访问模型:访问Hugging Face
身份验证:设置账户
设置环境:安装transformers
通过API集成:使用transformers库
优化:使用推荐设置以获得最佳结果
Granite Speech 5.0 2B的使用案例
- 多语言ASR
- 语音翻译
- 抗噪声能力
- 关键词偏向
- 企业应用














