メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

LIDstral Arabic

AI モデルAIモデルとLLMオープンソース · Web

LIDstral Arabicは、アラビア文字の言語および方言分類器です。現代標準アラビア語、さまざまなアラビア方言、同じ文字を使用する非アラビア語を特定し、言語の区別を強化します。

モデルを見る
共有
モデルを見る
共有

LIDstral Arabicは、アラビア文字で書かれたテキストのために設計された高度な言語および方言分類器です。現代標準アラビア語、幅広いアラビア方言、同じ文字を利用する非アラビア語を特定することができます。この能力は、文字の外観に基づいて誤分類を防ぎ、スクリプトを共有する言語を区別するために重要です。

続きを読む

このモデルは、fastTextの一対全体(OVA)分類器、MLPスタッカー、およびクラスごとの等方的キャリブレーションの組み合わせを使用しています。fastText OVA分類器は、各クラスに対して独立したスコアを生成し、競合する言語や方言の証拠を保持します。MLPスタッカーは、64ユニットのLayerNorm MLPで、これらのスコアをクラス間の確率にマッピングし、生のスコア、事前の修正、信頼度のマージン、エントロピー、地域の要約から得られた144の特徴を利用します。

クラスごとの等方的回帰モデルは、MLP確率をキャリブレーションするために開発予測にフィットされ、その後クラス間で再正規化されます。このキャリブレーションプロセスは、信頼度と予測ラベルの両方を変更する可能性があります。フルパイプラインには、lid_ova_full.bin、mlp_stacker_ln.pt、およびisotonic_calibration.pklの3つのファイルが必要です。classify.pyスクリプトは、CPU上でパイプラインを実行し、前処理と特徴抽出を含み、各入力に対して51クラスすべての予測ラベルとキャリブレーションされた確率を提供します。

LIDstral Arabicは、さまざまなベンチマークからの84,870のアラビア語の例で評価され、モロッコのダリジャで88.67%のF1スコアを達成し、LahjatBERT ALDi CLやGlotLID v3などの他のモデルを大きく上回っています。ただし、モデルは常に51のサポートクラスのいずれかを割り当てるため、サポートされていない言語や混合言語テキストの誤分類を引き起こす可能性があります。

このモデルはApache 2.0ライセンスの下でライセンスされており、ユーザーはその使用が第三者の権利を侵害しないことを確認する必要があります。

  • カテゴリーAIモデルとLLM
  • 料金モデルオープンソース
  • デプロイクラウド
  • プラットフォームWeb

  • 言語および方言分類

  • 現代標準アラビア語の特定

  • アラビア方言の特定

  • 非アラビア語の区別

  • fastText OVA分類器

  • LayerNormを使用したMLPスタッカー

  • クラスごとの等方的キャリブレーション

  • 51のサポートクラス

  1. モデルにアクセス: リポジトリをダウンロード

  2. 認証: 環境を設定

  3. 環境を設定: 依存関係をインストール

  4. API経由で統合: classify.pyスクリプトを使用

  5. 最適化: 確率をキャリブレーション

  • アラビア語テキスト分類
  • 方言特定
  • 非アラビア語検出
  • 多言語テキスト分析
  • 言語の区別

Mistral AI の製品

LIDstral Arabic のレビュー

読み込み中...

LIDstral Arabic に似た人気のAIツール

Llama-3.1-8B-Instructは、Metaによって開発された多言語大規模言語モデルで、指示ベースのタスクに最適化されています。商業および研究用途向けに設計されており、自然言語理解と生成において高度な機能を提供します。

AIモデルとLLM
ツールを見る

Metaによって開発された多言語大規模言語モデルで、指示ベースのタスクに最適化されています。商業および研究用途向けに設計されており、自然言語理解と生成において高度な機能を提供します。Llama-3.1-8B-Instructは、Metaによって開発された多言語大規模言語モデルで、指示ベースのタスクに最適化されています。商業および研究用途向けに設計されており、自然言語理解と生成において高度な機能を提供します。

注目AIモデルとLLM
AI モデル トップ5を見る

XLM-RoBERTa Base

AI モデル

XLM-RoBERTaは、100の言語にわたる2.5TBのデータで事前学習された多言語モデルです。シーケンス分類やトークン分類などのタスクに優れており、さまざまな自然言語処理アプリケーションにとって貴重なツールです。

AIモデルとLLM
ツールを見る

AI モデル

100の言語にわたる2.5TBのデータで事前学習された多言語モデルです。シーケンス分類やトークン分類などのタスクに優れており、さまざまな自然言語処理アプリケーションにとって貴重なツールです。XLM-RoBERTaは、100の言語にわたる2.5TBのデータで事前学習された多言語モデルです。シーケンス分類やトークン分類などのタスクに優れており、さまざまな自然言語処理アプリケーションにとって貴重なツールです。

注目AIモデルとLLM
AI モデル トップ5を見る

Llama-4 Maverick 17B-128E Instructは、Metaによって開発されたマルチモーダルAIモデルで、高度なテキストおよび画像理解のために設計されています。さまざまなアプリケーションで高いパフォーマンスを発揮するために、エキスパートの混合アーキテクチャを活用しています。

AIモデルとLLM
ツールを見る

Metaによって開発されたマルチモーダルAIモデルで、高度なテキストおよび画像理解のために設計されています。さまざまなアプリケーションで高いパフォーマンスを発揮するために、エキスパートの混合アーキテクチャを活用しています。Llama-4 Maverick 17B-128E Instructは、Metaによって開発されたマルチモーダルAIモデルで、高度なテキストおよび画像理解のために設計されています。さまざまなアプリケーションで高いパフォーマンスを発揮するために、エキスパートの混合アーキテクチャを活用しています。

AIモデルとLLM
AI モデル トップ5を見る

Mistral-7B-v0.1

AI モデル

Mistral-7B-v0.1は、70億のパラメータを持つ事前学習済みの生成テキストモデルで、オープンソースを通じて人工知能を進化させることを目的としています。さまざまなベンチマークでLlama 2 13Bを上回り、自然言語処理タスクにおいて強力なツールとなっています。

AIモデルとLLM
ツールを見る

AI モデル

70億のパラメータを持つ事前学習済みの生成テキストモデルで、オープンソースを通じて人工知能を進化させることを目的としています。さまざまなベンチマークでLlama 2 13Bを上回り、自然言語処理タスクにおいて強力なツールとなっています。Mistral-7B-v0.1は、70億のパラメータを持つ事前学習済みの生成テキストモデルで、オープンソースを通じて人工知能を進化させることを目的としています。さまざまなベンチマークでLlama 2 13Bを上回り、自然言語処理タスクにおいて強力なツールとなっています。

注目AIモデルとLLM
AI モデル トップ5を見る

BAAI/bge-reranker-v2-m3は、高速推論と簡単なデプロイメントのために設計された軽量の多言語リランカーモデルです。クエリとドキュメントの類似スコアを出力し、中国語と英語の両方をサポートしています。

AIモデルとLLM
ツールを見る

高速推論と簡単なデプロイメントのために設計された軽量の多言語リランカーモデルです。クエリとドキュメントの類似スコアを出力し、中国語と英語の両方をサポートしています。BAAI/bge-reranker-v2-m3は、高速推論と簡単なデプロイメントのために設計された軽量の多言語リランカーモデルです。クエリとドキュメントの類似スコアを出力し、中国語と英語の両方をサポートしています。

AIモデルとLLM
AI モデル トップ5を見る

PaddleOCR-VL-1.6

AI モデル

PaddleOCR-VL-1.6は、領域の洗練とポストトレーニングプロセスを強化する高度な文書解析モデルです。テキスト、数式、表の認識をサポートし、OmniDocBenchで最先端の精度を達成しています。

AIモデルとLLM
ツールを見る

AI モデル

領域の洗練とポストトレーニングプロセスを強化する高度な文書解析モデルです。テキスト、数式、表の認識をサポートし、OmniDocBenchで最先端の精度を達成しています。PaddleOCR-VL-1.6は、領域の洗練とポストトレーニングプロセスを強化する高度な文書解析モデルです。テキスト、数式、表の認識をサポートし、OmniDocBenchで最先端の精度を達成しています。

AIモデルとLLM
AI モデル トップ5を見る

OpenELMは、Apple Machine Learning Researchが開発した最先端のオープン言語モデルファミリーです。精度向上のためのレイヤーごとのスケーリング戦略を特徴とし、ログやチェックポイントを含む公開データセットでのトレーニングと評価のための完全なフレームワークを提供します。また、AppleデバイスでのMLX統合用のコードも含まれていま…

AIモデルとLLM
ツールを見る

Apple Machine Learning Researchが開発した最先端のオープン言語モデルファミリーです。精度向上のためのレイヤーごとのスケーリング戦略を特徴とし、ログやチェックポイントを含む公開データセットでのトレーニングと評価のための完全なフレームワークを提供します。また、AppleデバイスでのMLX統合用のコードも含まれていま…OpenELMは、Apple Machine Learning Researchが開発した最先端のオープン言語モデルファミリーです。精度向上のためのレイヤーごとのスケーリング戦略を特徴とし、ログやチェックポイントを含む公開データセットでのトレーニングと評価のための完全なフレームワークを提供します。また、AppleデバイスでのMLX統合用のコードも含まれていま…

AIモデルとLLM
AI モデル トップ5を見る

インストラクターは、大規模言語モデル(LLM)から構造化された検証済みデータを抽出するために設計された多言語ライブラリです。15以上のプロバイダーをサポートし、型安全性、自動再試行、ストリーミングなどの機能を提供し、信頼性の高い出力を求める開発者に最適です。

機械学習プラットフォーム
ツールを見る

大規模言語モデル(LLM)から構造化された検証済みデータを抽出するために設計された多言語ライブラリです。15以上のプロバイダーをサポートし、型安全性、自動再試行、ストリーミングなどの機能を提供し、信頼性の高い出力を求める開発者に最適です。インストラクターは、大規模言語モデル(LLM)から構造化された検証済みデータを抽出するために設計された多言語ライブラリです。15以上のプロバイダーをサポートし、型安全性、自動再試行、ストリーミングなどの機能を提供し、信頼性の高い出力を求める開発者に最適です。

注目機械学習プラットフォーム
AI フレームワーク トップ50を見る
1 / 8