説明
Sarvam-Prismは、Sarvamによって開発された専門的な意思決定モデルで、強力なSarvam-105Bバックボーンを活用しています。その主な機能はテキスト分類であり、与えられたコンテキストと1つ以上の質問を処理し、それぞれに固定された可能な回答のセットが付随します。生成AIモデルとは異なり、Sarvam-Prismは新しいテキストを作成せず、代わりに各事前定義された回答オプションに確率を割り当て、出力が常に提供された選択肢の1つであることを保証します。
続きを読む
このモデルは、オープンエンドのテキスト生成ではなく、正確で制約のある意思決定を必要とするアプリケーションに特に適しています。各質問を状態、指示、およびすべてのオプションを含むシーケンスに変換し、回答マーカーを続けて処理します。小さな意思決定ヘッドが各オプションの最後と回答マーカーで隠れ状態を読み取り、各オプションの確率を生成します。モデルのアーキテクチャには、効率的な推論のための特定のアテンションマスク調整とFP8カーネルが含まれています。
Sarvam-Prismはダウンロード可能で、Hugging Face上で実行でき、特定のハードウェア要件にはFP8サポートを持つNVIDIA GPUと約120 GBの空きメモリ(例:B200またはH200)が含まれます。また、Python 3.10以上とCコンパイラも必要です。必要なハードウェアがない場合、SarvamからホスティングされたAPIとしても提供されており、ローカルのGPUリソースが不要です。
モデルのパフォーマンスは速度に最適化されており、NVIDIA B200上でのリクエストあたりの中央値は44 msであり、公共のDecision Indexベンチマークで測定されています。さまざまなリクエスト形式(「choice」、「yes_no」、「score」タイプ)をサポートし、柔軟な質問設計を可能にします。リクエスト内のすべての質問はバッチで一緒にスコアリングされ、各質問は独立してスコアリングされます。コンテキストの制限は、各質問あたり131,072トークンに設定されており、広範な入力に対応しています。
重みはカスタムFP8レイアウトで保存されており、一般的な推論サーバーやAutoModelForCausalLMのような標準モデルとは互換性がありません。モデルの推論コードは、入力エンコーディング、アテンションマスク、意思決定ヘッド、およびFP8カーネルを含む`prism.py`ファイル内に提供されています。Sarvam-PrismはApache 2.0ライセンスの下でリリースされており、幅広いアプリケーションにアクセス可能です。
- カテゴリーAIモデルとLLM
- 料金モデルフリーミアム
- デプロイクラウド, セルフホスト
- プラットフォームWeb
Sarvam-Prismのハイライト
テキスト分類意思決定モデル
Sarvam-105Bバックボーンに基づく
事前定義された回答の確率を返す
テキストを生成せず、選択肢からのみ選択する
Hugging Faceでダウンロード可能
SarvamからホスティングされたAPI(GPU不要)
FP8サポートを持つNVIDIA GPUが必要(例:B200/H200)
Python 3.10以上とCコンパイラが必要
リクエストあたりの中央値44 msで速度に最適化
「choice」、「yes_no」、「score」質問タイプをサポート
質問をバッチで処理
各質問あたり131,072トークンのコンテキスト制限
重みはカスタムFP8レイアウトで保存
推論コードは`prism.py`に提供
Apache 2.0ライセンスの下でライセンス
Sarvam-Prismをはじめる
モデルとコードのダウンロード: Sarvam-Prismモデルと関連コードをHugging Faceリポジトリから取得します。
依存関係のインストール: 必要なPython 3.10以上の環境を設定し、すべての必要な依存関係をインストールします。
ハードウェアの準備: FP8サポートを持つNVIDIA GPUと少なくとも120 GBの空きメモリ(B200またはH200など)を確保します。
モデルのロード: `Prism.from_pretrained("sarvamai/prism")`を使用するか、指示に従って`prism.py`でモデルをロードします。
リクエストのフォーマット: `state`(コンテキスト)と`questions`(質問名と質問オブジェクトのマップ)を指定し、`type`、`instructions`、および`criteria`を構成します。
推論の実行: フォーマットされたリクエストを使用してモデルを実行し、各回答オプションの確率を受け取ります。
APIへのアクセス(オプション): ローカルのGPUリソースが利用できない場合は、SarvamからホスティングされたAPIを利用し、APIドキュメントに従います。
Sarvam-Prismの使用例
- 構造化意思決定
- テキスト分類
- 調査分析
- 質問応答
- 感情スコアリング
- コンプライアンスチェック
- コンテンツモデレーション







