跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Sarvam-Prism

AI 模型AI 模型与大语言模型免费增值 · 网页版

Sarvam-Prism 是一个基于 Sarvam-105B 构建的决策模型,旨在进行文本分类。它接受一个上下文和多个问题,每个问题都有预定义的答案,并在一次传递中返回每个选项的概率。该模型不生成文本,确保答案始终从提供的选项中选择,使其非常适合结构化决策任务。

查看模型
分享
查看模型
分享

Sarvam-Prism 是由 Sarvam 开发的专用决策模型,利用强大的 Sarvam-105B 主干。其主要功能是文本分类,它处理给定的上下文和一个或多个问题,每个问题都伴随一组固定的可能答案。与生成性 AI 模型不同,Sarvam-Prism 不会创建新文本;相反,它在一次前向传递中为每个预定义的答案选项分配概率,确保输出始终是提供的选项之一。

阅读更多

该模型特别适合需要精确、受限决策的应用,而不是开放式文本生成。它通过将每个问题转换为一个序列来操作,该序列包括状态、指令和每个选项,后面跟着一个答案标记。一个小的决策头随后读取每个选项末尾和答案标记处的隐藏状态,以生成每个选项的概率。该模型的架构包括特定的注意力掩码调整和 FP8 内核,以实现高效推理。

Sarvam-Prism 可供下载,并可以在 Hugging Face 上运行,具体硬件要求包括支持 FP8 的 NVIDIA GPU 和大约 120 GB 的可用内存(例如 B200 或 H200)。它还需要 Python 3.10+ 和 C 编译器。对于没有必要硬件的用户,Sarvam-Prism 还作为 Sarvam 提供的托管 API 提供,消除了对本地 GPU 资源的需求。

该模型的性能经过优化,速度达到中位数 44 毫秒每请求,在公共决策指数基准测试中测得。它支持多种请求格式,包括「choice」、「yes_no」和「score」类型,允许灵活的问题设计。请求中的所有问题都一起批量评分,每个问题独立评分。上下文限制设置为每个问题 131,072 个标记,以适应大量输入。

权重以自定义 FP8 布局存储,使其与通用推理服务器或标准模型(如 AutoModelForCausalLM)不兼容。模型的推理代码,包括输入编码、注意力掩码、决策头和 FP8 内核,包含在 `prism.py` 文件中。Sarvam-Prism 在 Apache 2.0 许可证下发布,使其可用于广泛的应用。

  • 类别AI 模型与大语言模型
  • 定价模式免费增值
  • 部署云端, 自托管
  • 平台网页版

  • 文本分类决策模型

  • 基于 Sarvam-105B 主干构建

  • 返回预定义答案的概率

  • 不生成文本,仅从选项中选择

  • 可在 Hugging Face 上下载

  • 提供来自 Sarvam 的托管 API(无需 GPU)

  • 需要支持 FP8 的 NVIDIA GPU(例如 B200/H200)

  • 需要 Python 3.10+ 和 C 编译器

  • 经过优化,速度中位数为每请求 44 毫秒

  • 支持「choice」、「yes_no」和「score」问题类型

  • 以批处理方式处理问题

  • 每个问题的上下文限制为 131,072 个标记

  • 权重以自定义 FP8 布局存储

  • 推理代码包含在 `prism.py` 中

  • 根据 Apache 2.0 许可证发布

  1. 下载模型和代码:从 Hugging Face 仓库获取 Sarvam-Prism 模型及相关代码。

  2. 安装依赖项:设置所需的 Python 3.10+ 环境并安装所有必要的依赖项。

  3. 准备硬件:确保您拥有支持 FP8 的 NVIDIA GPU 和至少 120 GB 的可用内存,例如 B200 或 H200。

  4. 加载模型:使用 `Prism.from_pretrained("sarvamai/prism")` 或按照说明使用 `prism.py` 加载模型。

  5. 格式化请求:使用 `state`(上下文)和 `questions`(问题名称到问题对象的映射)构建输入,指定 `type`、`instructions` 和 `criteria`。

  6. 运行推理:使用格式化的请求执行模型,以接收每个答案选项的概率。

  7. 访问 API(可选):如果本地 GPU 资源不可用,请利用来自 Sarvam 的托管 API,遵循 API 文档。

  • 结构化决策
  • 文本分类
  • 调查分析
  • 问答
  • 情感评分
  • 合规检查
  • 内容审核

Sarvam AI 旗下产品

Sarvam-Prism 评价

加载中...

与 Sarvam-Prism 类似的热门AI工具

GLiDE 27B

大语言模型

GLiDE 27B 是由 Fastino 开发的一个 270 亿参数的决策模型。它处理包含文本、JSON 和可选图像的状态,以概率形式回答输入的问题。该模型非常适合分类、路由和评分任务,为各种决策应用提供精确的非生成性概率输出。

AI 模型与大语言模型
查看工具

大语言模型

由 Fastino 开发的一个 270 亿参数的决策模型。它处理包含文本、JSON 和可选图像的状态,以概率形式回答输入的问题。该模型非常适合分类、路由和评分任务,为各种决策应用提供精确的非生成性概率输出。GLiDE 27B 是由 Fastino 开发的一个 270 亿参数的决策模型。它处理包含文本、JSON 和可选图像的状态,以概率形式回答输入的问题。该模型非常适合分类、路由和评分任务,为各种决策应用提供精确的非生成性概率输出。

AI 模型与大语言模型
查看 大语言模型 Top 50

d3-ultra

AI 模型

d3-ultra 是来自 vLLM 语义路由器的 27B 多模态决策模型。它处理文本、JSON、图像和视频,以概率形式回答问题。非常适合复杂决策任务,支持每个问题最多 131,072 个标记,并提供免费的 API 供测试。

AI 模型与大语言模型
查看工具

AI 模型

来自 vLLM 语义路由器的 27B 多模态决策模型。它处理文本、JSON、图像和视频,以概率形式回答问题。非常适合复杂决策任务,支持每个问题最多 131,072 个标记,并提供免费的 API 供测试。d3-ultra 是来自 vLLM 语义路由器的 27B 多模态决策模型。它处理文本、JSON、图像和视频,以概率形式回答问题。非常适合复杂决策任务,支持每个问题最多 131,072 个标记,并提供免费的 API 供测试。

AI 模型与大语言模型
查看 AI 模型 Top 5

XLM-RoBERTa 是一个多语言模型,预训练于 2.5TB 的 100 种语言数据上。它在序列分类和标记分类等任务中表现出色,是各种自然语言处理应用的宝贵工具。

AI 模型与大语言模型
查看工具

多语言模型,预训练于 2.5TB 的 100 种语言数据上。它在序列分类和标记分类等任务中表现出色,是各种自然语言处理应用的宝贵工具。XLM-RoBERTa 是一个多语言模型,预训练于 2.5TB 的 100 种语言数据上。它在序列分类和标记分类等任务中表现出色,是各种自然语言处理应用的宝贵工具。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

Llama-2-7b-chat-hf 是一个针对对话用例优化的微调生成文本模型。由 Meta 开发,提供先进的自然语言处理能力,适用于商业和研究应用。

AI 模型与大语言模型
查看工具

针对对话用例优化的微调生成文本模型。由 Meta 开发,提供先进的自然语言处理能力,适用于商业和研究应用。Llama-2-7b-chat-hf 是一个针对对话用例优化的微调生成文本模型。由 Meta 开发,提供先进的自然语言处理能力,适用于商业和研究应用。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

GPT-2

AI 模型

GPT-2 是一个预训练的变换器模型,旨在生成英语文本。它利用因果语言建模目标,能够根据提示生成连贯的文本,使其在各种自然语言处理任务中非常有用。

AI 模型与大语言模型
查看工具

AI 模型

预训练的变换器模型,旨在生成英语文本。它利用因果语言建模目标,能够根据提示生成连贯的文本,使其在各种自然语言处理任务中非常有用。GPT-2 是一个预训练的变换器模型,旨在生成英语文本。它利用因果语言建模目标,能够根据提示生成连贯的文本,使其在各种自然语言处理任务中非常有用。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

d3-turbo

AI 模型

d3-turbo 是来自 vLLM 语义路由器的先进 27B 多模态决策模型。它处理文本、JSON、图像和视频,以概率回答问题,提供高效的决策能力。

AI 模型与大语言模型
查看工具

AI 模型

来自 vLLM 语义路由器的先进 27B 多模态决策模型。它处理文本、JSON、图像和视频,以概率回答问题,提供高效的决策能力。d3-turbo 是来自 vLLM 语义路由器的先进 27B 多模态决策模型。它处理文本、JSON、图像和视频,以概率回答问题,提供高效的决策能力。

AI 模型与大语言模型
查看 AI 模型 Top 5

Mistral-7B-v0.1 是一个具有 70 亿参数的预训练生成文本模型,旨在通过开源推动人工智能的发展。它在各种基准测试中超越了 Llama 2 13B,使其成为自然语言处理任务的强大工具。

AI 模型与大语言模型
查看工具

具有 70 亿参数的预训练生成文本模型,旨在通过开源推动人工智能的发展。它在各种基准测试中超越了 Llama 2 13B,使其成为自然语言处理任务的强大工具。Mistral-7B-v0.1 是一个具有 70 亿参数的预训练生成文本模型,旨在通过开源推动人工智能的发展。它在各种基准测试中超越了 Llama 2 13B,使其成为自然语言处理任务的强大工具。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

SelfJev

AI 应用

SelfJev 是一个自托管的决策模型,将文本和图像转化为结构化决策。它提供类型化答案、共享前缀推理,并保持实验的开放记录,同时通过在您自己的基础设施上运行来确保数据隐私。

机器学习与数据科学
查看工具

AI 应用

自托管的决策模型,将文本和图像转化为结构化决策。它提供类型化答案、共享前缀推理,并保持实验的开放记录,同时通过在您自己的基础设施上运行来确保数据隐私。SelfJev 是一个自托管的决策模型,将文本和图像转化为结构化决策。它提供类型化答案、共享前缀推理,并保持实验的开放记录,同时通过在您自己的基础设施上运行来确保数据隐私。

机器学习与数据科学
查看 AI 应用 Top 250
1/8