BERT base uncased

google/bigbird-roberta-base

AI モデル

BigBirdベースモデルは、ブロック疎行列アテンションを使用して、はるかに長いシーケンスを処理できるように拡張されたBERTのTransformerです。マスク言語モデリングのために英語テキストで事前学習されており、最大4096トークンのシーケンスを効率的に処理でき、長文タスクで最先端の結果を達成しています。

BERT 多言語モデル

LLM

#46

100以上の言語をサポートするCasedとUncasedの2つの多言語モデルを提供しています。Casedモデルは、ラテン文字以外のアルファベットや一般的な用途に推奨され、Uncasedモデルは旧バージョンです。これらのモデルは自然言語理解タスク向けに設計されており、特定のアプリケーションに合わせてファインチューニングできます。BERTは、100以上の言語をサポートするCasedとUncasedの2つの多言語モデルを提供しています。Casedモデルは、ラテン文字以外のアルファベットや一般的な用途に推奨され、Uncasedモデルは旧バージョンです。これらのモデルは自然言語理解タスク向けに設計されており、特定のアプリケーションに合わせてファインチューニングできます。

XLM-RoBERTa Base

AI モデル

100の言語にわたる2.5TBのデータで事前学習された多言語モデルです。シーケンス分類やトークン分類などのタスクに優れており、さまざまな自然言語処理アプリケーションにとって貴重なツールです。XLM-RoBERTaは、100の言語にわたる2.5TBのデータで事前学習された多言語モデルです。シーケンス分類やトークン分類などのタスクに優れており、さまざまな自然言語処理アプリケーションにとって貴重なツールです。

SpanBERT

AI GitHub リポジトリ

テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。SpanBERTは、テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。

Mistral-7B-v0.1

AI モデル

70億のパラメータを持つ事前学習済みの生成テキストモデルで、オープンソースを通じて人工知能を進化させることを目的としています。さまざまなベンチマークでLlama 2 13Bを上回り、自然言語処理タスクにおいて強力なツールとなっています。Mistral-7B-v0.1は、70億のパラメータを持つ事前学習済みの生成テキストモデルで、オープンソースを通じて人工知能を進化させることを目的としています。さまざまなベンチマークでLlama 2 13Bを上回り、自然言語処理タスクにおいて強力なツールとなっています。

Longformer Base 4096

AI モデル

長文ドキュメントの処理に特化したTransformerモデルです。RoBERTaをベースとし、最大4,096トークンの拡張シーケンスで事前学習されています。このモデルは、スライディングウィンドウとグローバルアテンションを組み合わせたハイブリッドアテンションメカニズムを採用し、効率的な長文理解とタスク固有の表現学習…Longformer Base 4096 は、長文ドキュメントの処理に特化したTransformerモデルです。RoBERTaをベースとし、最大4,096トークンの拡張シーケンスで事前学習されています。このモデルは、スライディングウィンドウとグローバルアテンションを組み合わせたハイブリッドアテンションメカニズムを採用し、効率的な長文理解とタスク固有の表現学習…

all-mpnet-base-v2

AI モデル

文や段落を768次元のベクトル空間にエンコードする文変換モデルで、クラスタリングや意味検索などのタスクを容易にします。効率的なテキスト埋め込みおよび検索アプリケーション向けに設計されています。all-mpnet-base-v2は、文や段落を768次元のベクトル空間にエンコードする文変換モデルで、クラスタリングや意味検索などのタスクを容易にします。効率的なテキスト埋め込みおよび検索アプリケーション向けに設計されています。

BEiT Image Transformer

AI モデル

マスク画像モデリングを用いてビジョントランスフォーマーを事前学習する自己教師あり学習の視覚表現モデルです。画像を視覚トークンにトークン化し、マスクされたパッチを復元することで、画像分類やセマンティックセグメンテーションなどの下流タスクで競争力のある結果を達成します。BEiTは、マスク画像モデリングを用いてビジョントランスフォーマーを事前学習する自己教師あり学習の視覚表現モデルです。画像を視覚トークンにトークン化し、マスクされたパッチを復元することで、画像分類やセマンティックセグメンテーションなどの下流タスクで競争力のある結果を達成します。