説明
LIDstral Arabicは、アラビア文字で書かれたテキストのために設計された高度な言語および方言分類器です。現代標準アラビア語、幅広いアラビア方言、同じ文字を利用する非アラビア語を特定することができます。この能力は、文字の外観に基づいて誤分類を防ぎ、スクリプトを共有する言語を区別するために重要です。
続きを読む
このモデルは、fastTextの一対全体(OVA)分類器、MLPスタッカー、およびクラスごとの等方的キャリブレーションの組み合わせを使用しています。fastText OVA分類器は、各クラスに対して独立したスコアを生成し、競合する言語や方言の証拠を保持します。MLPスタッカーは、64ユニットのLayerNorm MLPで、これらのスコアをクラス間の確率にマッピングし、生のスコア、事前の修正、信頼度のマージン、エントロピー、地域の要約から得られた144の特徴を利用します。
クラスごとの等方的回帰モデルは、MLP確率をキャリブレーションするために開発予測にフィットされ、その後クラス間で再正規化されます。このキャリブレーションプロセスは、信頼度と予測ラベルの両方を変更する可能性があります。フルパイプラインには、lid_ova_full.bin、mlp_stacker_ln.pt、およびisotonic_calibration.pklの3つのファイルが必要です。classify.pyスクリプトは、CPU上でパイプラインを実行し、前処理と特徴抽出を含み、各入力に対して51クラスすべての予測ラベルとキャリブレーションされた確率を提供します。
LIDstral Arabicは、さまざまなベンチマークからの84,870のアラビア語の例で評価され、モロッコのダリジャで88.67%のF1スコアを達成し、LahjatBERT ALDi CLやGlotLID v3などの他のモデルを大きく上回っています。ただし、モデルは常に51のサポートクラスのいずれかを割り当てるため、サポートされていない言語や混合言語テキストの誤分類を引き起こす可能性があります。
このモデルはApache 2.0ライセンスの下でライセンスされており、ユーザーはその使用が第三者の権利を侵害しないことを確認する必要があります。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
LIDstral Arabicのハイライト
言語および方言分類
現代標準アラビア語の特定
アラビア方言の特定
非アラビア語の区別
fastText OVA分類器
LayerNormを使用したMLPスタッカー
クラスごとの等方的キャリブレーション
51のサポートクラス
LIDstral Arabicをはじめる
モデルにアクセス: リポジトリをダウンロード
認証: 環境を設定
環境を設定: 依存関係をインストール
API経由で統合: classify.pyスクリプトを使用
最適化: 確率をキャリブレーション
LIDstral Arabicの使用例
- アラビア語テキスト分類
- 方言特定
- 非アラビア語検出
- 多言語テキスト分析
- 言語の区別








