描述
Granite Switch 4.1 30B 是 IBM 开发的一个复杂的模块化大型语言模型(LLM),可在 Hugging Face 上获取。该模型旨在通过将一个 300 亿参数的基础模型与专业适配器和嵌入式语音转文本编码器组合,提供多种人工智能任务的灵活解决方案。这种架构允许单个托管端点在生成自然语言、进行一般和专业决策以及将语音转录为文本等不同功能之间无缝切换。
阅读更多
Granite Switch 4.1 30B 的核心是 ibm-granite/granite-4.1-30b 基础模型,具有 128K 的上下文窗口。它由两个主要适配器增强:一个用于一般决策的“决策”aLoRA 和一个用于检测安全风险的“guardian-core”aLoRA,例如伤害、越狱、粗俗语言、暴力、色情内容、社会偏见和不道德行为。这些适配器通过在聊天模板中使用控制令牌按需激活,提供动态功能。
该模型的一个关键特性是其嵌入的语音转文本能力,由 ibm-granite/granite-speech-5.0-470m-turboctc 提供支持。该编码器支持七种语言的转录:英语、法语、德语、西班牙语、葡萄牙语、意大利语和日语,输出带标点和大写的转录文本。这意味着音频输入可以直接在与聊天和决策任务相同的端点上处理,消除了对单独语音服务器的需求。
Granite Switch 4.1 30B 采用 Apache 2.0 许可证,并支持 HuggingFace Transformers 和 vLLM 等后端。它旨在为希望将先进的语言、决策和语音处理集成到其应用程序中的开发人员和组织提供服务。该模型还提供其他配置,包括 8B 基础版本和完整的 Granite Libraries 套件。伦理考虑强调了应用级安全测试和监控的必要性,因为嵌入的 guardian-core 适配器提供了额外的安全层,但不能替代全面的部署保障。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Granite Switch 4.1 30B亮点
模块化 LLM 架构,包含基础模型和适配器
基础模型具有 300 亿参数
128K 令牌上下文窗口
用于一般决策的决策适配器(aLoRA)
用于安全风险检测的 guardian-core 适配器(aLoRA)
嵌入的多语言语音转文本(ASR)编码器
支持英语、法语、德语、西班牙语、葡萄牙语、意大利语和日语的 ASR
音频输入的自动语言检测
单个托管端点用于聊天、决策和语音转文本
按需通过控制令牌激活适配器
与 HuggingFace Transformers 和 vLLM 后端兼容
Apache 2.0 许可证
适配器的 KV 缓存归一化
适配器不进行联合训练,允许独立开发
HuggingFace 和 vLLM 的单个检查点,无需转换
Granite Switch 4.1 30B入门
访问模型:导航到 Hugging Face 上的 ibm-granite/granite-switch-4.1-30b 页面。
安装依赖项:确保安装 Python(>=3.11,<3.14)、granite-switch(>=0.1.1)、PyTorch(>=2.11.0)和 Transformers(>=5.16,<=5.17.0)。
加载模型:使用 HuggingFace Transformers 库加载模型,如果不是最新版本,请指定所需的修订版。
激活适配器:通过请求中的 `chat_template_kwargs` 将适配器名称(例如,“guardian-core”,“decision”)传递给聊天模板。
处理音频输入:在 `config.json` 中设置 `asr_enabled: true` 以启用音频输入的语音转文本转录。
发送提示:构建用于文本生成、决策或语音转录的提示,利用已激活的适配器。
解释输出:对于决策适配器,读取选项标签的校准概率;对于 guardian-core,解析 JSON 裁决。
Granite Switch 4.1 30B的使用案例
- 多语言聊天机器人
- 自动决策系统
- 内容审核
- 语音转录服务
- 智能虚拟助手
- 语言理解
- 人工智能驱动的客户支持














