説明
Jina Embeddings v3は、Jina AIによって開発された高度な多言語テキスト埋め込みモデルです。自然言語処理（NLP）アプリケーションの幅広いニーズに応えるように設計されています。このモデルは、Jina-XLM-RoBERTaアーキテクチャに基づいており、Rotary Position Embeddings（RoPE）を組み込むことで、最大8192トークンの長い入力シーケンスを処理できます。この機能は、広範なテキスト処理を必要とするアプリケーションに特に有益です。
このモデルは、5つのLoRAアダプターを備えており、タスク特有の埋め込みを効率的に生成できます。ユーザーは、検索クエリ、パッセージ埋め込み、クラスタリング、分類、テキストマッチングなど、さまざまなタスクに対して埋め込みをカスタマイズできます。この柔軟性により、Jina Embeddings v3は非対称検索タスク、クラスタリングおよび再ランキングアプリケーション、分類タスク、テキストの類似性を定量化するタスクに適しています。
Jina Embeddings v3は、32から1024までの柔軟な埋め込みサイズを提供するMatryoshka Embeddingsをサポートしています。この機能により、ユーザーは特定のアプリケーションのニーズに合わせて埋め込みを切り詰めることができます。このモデルは、アラビア語、中国語、英語、フランス語、ドイツ語、ヒンディー語、日本語、韓国語、スペイン語など、30の言語に調整されています。
モデルの注目すべき更新点は、encode関数のバグが修正され、切り詰められた埋め込みの正規化が一貫して行われるようになったことです。ユーザーは、モデルを統合する際に平均プーリングを適用することを推奨されており、このアプローチにより高品質な文埋め込みが得られます。モデルは、Jina Embedding APIを介して、またはTransformersパッケージを通じて直接使用できます。
Jina Embeddings v3は、Ampere、Ada、またはHopper GPUなど、FlashAttention-2をサポートするGPUと互換性があります。ライセンスはCC BY-NC 4.0で、商業利用に関する問い合わせはJina AIに向けられます。このモデルは、先月だけで200万回以上のダウンロードがあり、AWSおよびAzureプラットフォームにリストされています。
Jina Embeddings v3のハイライト
30言語の多言語サポート
最大8192トークンの拡張シーケンス長
LoRAアダプターによるタスク特有の埋め込み
柔軟なサイズのMatryoshka Embeddings
高品質な文埋め込みのための平均プーリング
FlashAttention-2 GPUとの互換性
SentenceTransformerTrainerによるファインチューニングサポート
効率的な処理のためのONNX推論
encode関数の正規化に関するバグ修正
CC BY-NC 4.0ライセンス
Jina Embeddings v3をはじめる
ページにアクセス: huggingface.co/jinaai/jina-embeddings-v3を訪問
モデルをロード: AutoModel.from_pretrainedを使用
環境を設定: GPUの互換性を確認
統合: 埋め込みのために平均プーリングを適用
ファインチューニング: タスクのためにSentenceTransformerTrainerを使用
Jina Embeddings v3の使用例
- テキスト検索
- テキスト分類
- クラスタリング
- テキストマッチング
- 多言語処理
