説明
MetaEncoder v1は、Facebookによって開発された強力な特徴抽出モデルで、280億パラメータを誇ります。Hugging Faceにホストされており、複雑なデータタイプを扱う開発者や研究者にとって堅牢なソリューションを提供します。このモデルは使いやすさを考慮して設計されており、最適なパフォーマンスを得るためには`transformers>=5.15`と80GBのGPUが必要です(bf16精度)。
続きを読む
MetaEncoder v1の中心には、3つの主要機能があります:`encode`、`retrieve`、および`decide`です。`encode`機能は、ユーザーが文字列、PIL画像、またはテキスト、画像、動画フレームを含む辞書などのさまざまな入力を(n, 6656)のfloat32テンソルに埋め込むことを可能にします。これらの埋め込みはL2正規化され、ストレージ、クラスタリング、または比較タスクに使用できます。このモデルは指示に敏感であり、同じ入力が提供されたコンテキストに基づいて異なる方法で埋め込まれる可能性があるため、特定のユースケースに対する適応性が向上します。
`retrieve`機能は、与えられたクエリに対してコーパスをランキングするために設計されています。ユーザーはクエリとコーパス(アイテムのリストまたは事前にエンコードされたテンソル)を渡し、両方に対するオプションの指示を追加できます。これは、最も良いものから順に並べられた`Hit`オブジェクトのリストを返し、検索や情報取得アプリケーションに最適です。この機能は、大規模なコーパスに対して特に効率的であり、コーパスは一度エンコードされ、その後繰り返し検索できます。
最後に、`decide`機能は、与えられた状態に関するJevスタイルの質問に答えることを可能にします。この状態は文字列または任意のJSON値であり、オプションで画像や動画を伴うことができます。質問は、'noul'(はい/いいえ)、'choice'(複数の選択肢)、または'score'(順序付きレベル)などのタイプで構成され、それぞれ特定の指示と基準があります。モデルは、確率、信頼度スコア、および生のコサイン類似度を提供します。また、複数の状態を同時に処理するための`decide_batch`機能も利用可能で、キャリブレーション機能により、ユーザーは特定のデータに対してモデルの温度を微調整し、精度を向上させることができます。
MetaEncoder v1の主な利点は、内部プロンプトフォーマット処理により、呼び出し元が手動でプロンプトを書く必要がないことです。このラッパーは、入力がトレーニング中に使用されたのと同じ形式でフォーマットされることを保証し、一貫性を保ちながら統合を簡素化します。これには、システムとユーザーのターン、画像と動画のエンコーディング、およびプーリングの処理が含まれます。高度なユーザー向けには、カスタムプロンプトフォーマットとプーリングのためにラッパーをバイパスするための`modeling_metaencoder.py`への直接アクセスが可能で、モデルのコア機能を活用しながら柔軟性を提供します。
- カテゴリーAIモデルとLLM
- デプロイクラウド
- プラットフォームHugging Face
MetaEncoder v1のハイライト
特徴抽出モデル
280億パラメータ
入力の埋め込み(encode)
クエリに対するコーパスのランキング(retrieve)
Jevスタイルの質問への回答(decide)
テキスト、画像、動画の入力をサポート
内部プロンプトフォーマット処理
指示に基づく埋め込み
バッチ決定処理
温度フィッティングのためのモデルキャリブレーション
L2正規化された埋め込み
手動プロンプト作成不要
transformers>=5.15と互換性あり
80GBのGPUが必要(bf16)
カスタマイズのためのモデリングへの直接アクセス
MetaEncoder v1をはじめる
モデルにアクセス:Hugging Faceのfacebook/meta-encoder-v1ページに移動します。
環境を設定:`transformers>=5.15`がインストールされており、bf16精度のために80GBのGPUが利用可能であることを確認します。
入力を埋め込む:`encode(inputs, instruction=None)`呼び出しを使用して、テキスト、画像、または動画の埋め込みを生成します。
情報を取得:`retrieve(query, corpus, top_k=None, query_instruction=None, corpus_instruction=None)`を利用して、クエリに対するコーパスをランキングします。
決定を行う:`decide(state, questions, images=None, video=None)`を使用して、与えられた状態に関する構造化された質問に答えます。
モデルをキャリブレーション:精度を向上させるために、ラベル付きデータセットを使用して`model.calibrate(answers, labels)`を呼び出し、温度を特定のデータにフィットさせます。
MetaEncoder v1の使用例
- 情報取得
- データクラスタリング
- セマンティック検索
- 質問応答システム
- コンテンツ理解
- マルチモーダルデータ処理
- 意思決定支援システム







