説明
pplx-embed-v2-context-9b-previewは、情報検索強化生成（RAG）システムでの使用のために特別に設計されたコンテキスト埋め込みモデルです。このモデルは、文書をチャンクに分割し、これらのチャンクを一緒にエンコードすることによって文書を処理します。結果として得られる埋め込みは、各チャンクのコンテキストを反映し、より微妙な表現を提供します。これはプレビューリリースであり、ユーザーは将来のバージョンで重み、埋め込み、およびインターフェースが変更される可能性があることを認識しておくべきです。これにより、後方互換性に影響を与える可能性があります。
続きを読む
このモデルは、クエリと文書に対して異なるエンコーディング方法を使用し、クエリにはencode_queriesを、文書チャンクにはencodeを使用します。文書メソッドでクエリをエンコードすると、検索品質が低下する可能性があることに注意が必要です。このモデルは、非正規化されたint8量子化埋め込みを生成し、コサイン類似度を使用して比較するか、ドット積比較のために正規化することができます。
pplx-embed-v2-context-9b-previewモデルは、transformersバージョン5.4.0以上、torch、numpy、safetensors、およびtqdmを含む特定の依存関係を必要とします。カスタムコードを利用しており、モデルをロードする際にはtrust_remote_code=Trueを使用する必要があります。ユーザーは、バッチサイズ、埋め込みの正規化、NumPy配列への変換、およびデバイスの割り当てなど、さまざまなオプションを調整できます。
このモデルは、1024および2048の次元でMatryoshka損失を使用してトレーニングされており、埋め込みサイズの柔軟性を提供します。ただし、1024および2048の次元のみがトレーニングされており、他の切り捨てサイズはサポートされていません。このモデルは、文書処理のためのコンテキスト埋め込みを必要とするRAGシステムで作業する開発者や研究者に最適です。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
pplx-embed-v2-context-9b-previewのハイライト
コンテキスト埋め込みモデル
RAGシステムをサポート
文書チャンクをエンコード
int8量子化埋め込みを生成
クエリと文書のための別々のエンコーディング
カスタムコードサポート
Matryoshka損失トレーニング
次元: 1024および2048
pplx-embed-v2-context-9b-previewをはじめる
モデルにアクセス: Hugging Faceを訪問
認証: 認証情報を使用
環境を設定: 依存関係をインストール
API経由で統合: encodeとencode_queriesを使用
最適化: バッチサイズと正規化を調整
pplx-embed-v2-context-9b-previewの使用例
- 文書チャンク化
- クエリエンコーディング
- コンテキスト分析
- RAGシステム統合
- 埋め込み比較
