SpanBERT

MPNet

AI GitHub リポジトリ

BERTやXLNetを改良した言語理解タスク向けの新しい事前学習手法です。様々な事前学習モデルの統一的な実装を提供し、GLUEやSQuADなどの多様な言語理解タスクにおける事前学習およびファインチューニング用のコードをサポートします。MPNetは、BERTやXLNetを改良した言語理解タスク向けの新しい事前学習手法です。様々な事前学習モデルの統一的な実装を提供し、GLUEやSQuADなどの多様な言語理解タスクにおける事前学習およびファインチューニング用のコードをサポートします。

ConvBERT

AI GitHub リポジトリ

スパンベースの動的畳み込みを特徴とする新しいアーキテクチャを持つ、言語モデルの事前学習のためのオープンソースAIモデルです。このGitHubリポジトリには、V100 GPUでテストされたConvBERTモデルの事前学習およびファインチューニング用のコードが含まれており、TensorFlowでの使用方法も記載されています。ConvBERTは、スパンベースの動的畳み込みを特徴とする新しいアーキテクチャを持つ、言語モデルの事前学習のためのオープンソースAIモデルです。このGitHubリポジトリには、V100 GPUでテストされたConvBERTモデルの事前学習およびファインチューニング用のコードが含まれており、TensorFlowでの使用方法も記載されています。

DeBERTa - Microsoft Research

AI モデル

Microsoft Researchによって開発された大規模事前学習済み言語モデルです。T5 11Bモデルを性能で凌駕し、SuperGLUEベンチマークで人間レベルの結果を達成しています。この先進的なモデルは、自然言語理解タスクに顕著な能力を提供します。DeBERTaは、Microsoft Researchによって開発された大規模事前学習済み言語モデルです。T5 11Bモデルを性能で凌駕し、SuperGLUEベンチマークで人間レベルの結果を達成しています。この先進的なモデルは、自然言語理解タスクに顕著な能力を提供します。

XLM-RoBERTa Base

AI モデル

100の言語にわたる2.5TBのデータで事前学習された多言語モデルです。シーケンス分類やトークン分類などのタスクに優れており、さまざまな自然言語処理アプリケーションにとって貴重なツールです。XLM-RoBERTaは、100の言語にわたる2.5TBのデータで事前学習された多言語モデルです。シーケンス分類やトークン分類などのタスクに優れており、さまざまな自然言語処理アプリケーションにとって貴重なツールです。

DeepSeek-V3

AI GitHub リポジトリ

DeepSeekによるオープンウェイトのMixture-of-Experts言語モデルで、合計6710億のパラメータとトークンごとに370億のアクティブパラメータを持っています。128Kのコンテキスト長で148兆トークンで事前学習されており、自己ホスティング用またはDeepSeekのチャットウェブサイトを通じて使用するために、Git…DeepSeek-V3は、DeepSeekによるオープンウェイトのMixture-of-Experts言語モデルで、合計6710億のパラメータとトークンごとに370億のアクティブパラメータを持っています。128Kのコンテキスト長で148兆トークンで事前学習されており、自己ホスティング用またはDeepSeekのチャットウェブサイトを通じて使用するために、Git…

BERT 多言語モデル

LLM

#46

100以上の言語をサポートするCasedとUncasedの2つの多言語モデルを提供しています。Casedモデルは、ラテン文字以外のアルファベットや一般的な用途に推奨され、Uncasedモデルは旧バージョンです。これらのモデルは自然言語理解タスク向けに設計されており、特定のアプリケーションに合わせてファインチューニングできます。BERTは、100以上の言語をサポートするCasedとUncasedの2つの多言語モデルを提供しています。Casedモデルは、ラテン文字以外のアルファベットや一般的な用途に推奨され、Uncasedモデルは旧バージョンです。これらのモデルは自然言語理解タスク向けに設計されており、特定のアプリケーションに合わせてファインチューニングできます。

BERT base uncased

AI モデル

BERTベースモデル（未ケース）は、英語を理解するために設計された事前学習済みのトランスフォーマーモデルです。マスク付き言語モデルと次の文予測を利用して文脈的関係を学習し、さまざまなNLPタスクに適しています。

google/bigbird-roberta-base

AI モデル

BigBirdベースモデルは、ブロック疎行列アテンションを使用して、はるかに長いシーケンスを処理できるように拡張されたBERTのTransformerです。マスク言語モデリングのために英語テキストで事前学習されており、最大4096トークンのシーケンスを効率的に処理でき、長文タスクで最先端の結果を達成しています。