描述
Sarvam-Prism 是由 Sarvam 开发的专用决策模型,利用强大的 Sarvam-105B 主干。其主要功能是文本分类,它处理给定的上下文和一个或多个问题,每个问题都伴随一组固定的可能答案。与生成性 AI 模型不同,Sarvam-Prism 不会创建新文本;相反,它在一次前向传递中为每个预定义的答案选项分配概率,确保输出始终是提供的选项之一。
阅读更多
该模型特别适合需要精确、受限决策的应用,而不是开放式文本生成。它通过将每个问题转换为一个序列来操作,该序列包括状态、指令和每个选项,后面跟着一个答案标记。一个小的决策头随后读取每个选项末尾和答案标记处的隐藏状态,以生成每个选项的概率。该模型的架构包括特定的注意力掩码调整和 FP8 内核,以实现高效推理。
Sarvam-Prism 可供下载,并可以在 Hugging Face 上运行,具体硬件要求包括支持 FP8 的 NVIDIA GPU 和大约 120 GB 的可用内存(例如 B200 或 H200)。它还需要 Python 3.10+ 和 C 编译器。对于没有必要硬件的用户,Sarvam-Prism 还作为 Sarvam 提供的托管 API 提供,消除了对本地 GPU 资源的需求。
该模型的性能经过优化,速度达到中位数 44 毫秒每请求,在公共决策指数基准测试中测得。它支持多种请求格式,包括「choice」、「yes_no」和「score」类型,允许灵活的问题设计。请求中的所有问题都一起批量评分,每个问题独立评分。上下文限制设置为每个问题 131,072 个标记,以适应大量输入。
权重以自定义 FP8 布局存储,使其与通用推理服务器或标准模型(如 AutoModelForCausalLM)不兼容。模型的推理代码,包括输入编码、注意力掩码、决策头和 FP8 内核,包含在 `prism.py` 文件中。Sarvam-Prism 在 Apache 2.0 许可证下发布,使其可用于广泛的应用。
- 类别AI 模型与大语言模型
- 定价模式免费增值
- 部署云端, 自托管
- 平台网页版
Sarvam-Prism亮点
文本分类决策模型
基于 Sarvam-105B 主干构建
返回预定义答案的概率
不生成文本,仅从选项中选择
可在 Hugging Face 上下载
提供来自 Sarvam 的托管 API(无需 GPU)
需要支持 FP8 的 NVIDIA GPU(例如 B200/H200)
需要 Python 3.10+ 和 C 编译器
经过优化,速度中位数为每请求 44 毫秒
支持「choice」、「yes_no」和「score」问题类型
以批处理方式处理问题
每个问题的上下文限制为 131,072 个标记
权重以自定义 FP8 布局存储
推理代码包含在 `prism.py` 中
根据 Apache 2.0 许可证发布
Sarvam-Prism入门
下载模型和代码:从 Hugging Face 仓库获取 Sarvam-Prism 模型及相关代码。
安装依赖项:设置所需的 Python 3.10+ 环境并安装所有必要的依赖项。
准备硬件:确保您拥有支持 FP8 的 NVIDIA GPU 和至少 120 GB 的可用内存,例如 B200 或 H200。
加载模型:使用 `Prism.from_pretrained("sarvamai/prism")` 或按照说明使用 `prism.py` 加载模型。
格式化请求:使用 `state`(上下文)和 `questions`(问题名称到问题对象的映射)构建输入,指定 `type`、`instructions` 和 `criteria`。
运行推理:使用格式化的请求执行模型,以接收每个答案选项的概率。
访问 API(可选):如果本地 GPU 资源不可用,请利用来自 Sarvam 的托管 API,遵循 API 文档。
Sarvam-Prism的使用案例
- 结构化决策
- 文本分类
- 调查分析
- 问答
- 情感评分
- 合规检查
- 内容审核







