DeBERTa - Microsoft Research

SpanBERT

AI GitHub リポジトリ

テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。SpanBERTは、テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。

MPNet

AI GitHub リポジトリ

BERTやXLNetを改良した言語理解タスク向けの新しい事前学習手法です。様々な事前学習モデルの統一的な実装を提供し、GLUEやSQuADなどの多様な言語理解タスクにおける事前学習およびファインチューニング用のコードをサポートします。MPNetは、BERTやXLNetを改良した言語理解タスク向けの新しい事前学習手法です。様々な事前学習モデルの統一的な実装を提供し、GLUEやSQuADなどの多様な言語理解タスクにおける事前学習およびファインチューニング用のコードをサポートします。

凍結されたビジュアルエンコーダーと大規模言語モデルを連携させることで、視覚と言語の理解を強化するAIモデルです。詳細な画像説明の生成、ドラフトからのウェブサイト作成、画像に触発された物語の執筆、視覚的な問題の解決など、高度なマルチモーダル能力を発揮します。MiniGPT-4は、凍結されたビジュアルエンコーダーと大規模言語モデルを連携させることで、視覚と言語の理解を強化するAIモデルです。詳細な画像説明の生成、ドラフトからのウェブサイト作成、画像に触発された物語の執筆、視覚的な問題の解決など、高度なマルチモーダル能力を発揮します。

GODEL: Goal-Directed Dialog Models

LLM

目標指向型対話生成のための大規模事前学習済みTransformerベースモデルです。外部テキストに基づいた応答生成に優れており、様々な対話タスクに対して効率的なファインチューニングを可能にします。リポジトリには、研究開発用のコード、データセット、事前学習済みモデルが提供されています。GODELは、目標指向型対話生成のための大規模事前学習済みTransformerベースモデルです。外部テキストに基づいた応答生成に優れており、様々な対話タスクに対して効率的なファインチューニングを可能にします。リポジトリには、研究開発用のコード、データセット、事前学習済みモデルが提供されています。

Phi-2 言語モデル

AI モデル

Microsoft Researchが開発した27億パラメータの言語モデルです。130億パラメータ未満のモデルの中で最先端のパフォーマンスを示し、優れた推論能力と自然言語理解能力を備えています。Phi-2は、最大25倍大きいモデルと同等またはそれ以上の性能を複雑なベンチマークで達成しており、研究や実験に最適です。Phi-2は、Microsoft Researchが開発した27億パラメータの言語モデルです。130億パラメータ未満のモデルの中で最先端のパフォーマンスを示し、優れた推論能力と自然言語理解能力を備えています。Phi-2は、最大25倍大きいモデルと同等またはそれ以上の性能を複雑なベンチマークで達成しており、研究や実験に最適です。

google/bigbird-roberta-base

AI モデル

BigBirdベースモデルは、ブロック疎行列アテンションを使用して、はるかに長いシーケンスを処理できるように拡張されたBERTのTransformerです。マスク言語モデリングのために英語テキストで事前学習されており、最大4096トークンのシーケンスを効率的に処理でき、長文タスクで最先端の結果を達成しています。

Mistral Large 3 - AIモデル

AI モデル

企業向けに設計された最先端のAIモデルで、AIアシスタントやエージェントのカスタマイズ、ファインチューニング、展開を可能にします。41Bのアクティブパラメータを持つスパースミクスチャーオブエキスパートアーキテクチャを特徴としており、マルチモーダルおよび多言語アプリケーションにおいて高度な機能を提供します。Mistral Large 3は、企業向けに設計された最先端のAIモデルで、AIアシスタントやエージェントのカスタマイズ、ファインチューニング、展開を可能にします。41Bのアクティブパラメータを持つスパースミクスチャーオブエキスパートアーキテクチャを特徴としており、マルチモーダルおよび多言語アプリケーションにおいて高度な機能を提供します。

Gopher

AI モデル

Google DeepMindによる2800億パラメータのトランスフォーマー言語モデルで、4400万から2800億パラメータまでのモデルファミリーの一部です。2021年の研究発表で紹介され、読解力、ファクトチェック、毒性言語の識別において評価され、一部のタスクではスケールの恩恵を受けましたが、論理的推論などのタスクではそうではありませんでした…Gopherは、Google DeepMindによる2800億パラメータのトランスフォーマー言語モデルで、4400万から2800億パラメータまでのモデルファミリーの一部です。2021年の研究発表で紹介され、読解力、ファクトチェック、毒性言語の識別において評価され、一部のタスクではスケールの恩恵を受けましたが、論理的推論などのタスクではそうではありませんでした…