google/bigbird-roberta-base

Longformer Base 4096

AI モデル

長文ドキュメントの処理に特化したTransformerモデルです。RoBERTaをベースとし、最大4,096トークンの拡張シーケンスで事前学習されています。このモデルは、スライディングウィンドウとグローバルアテンションを組み合わせたハイブリッドアテンションメカニズムを採用し、効率的な長文理解とタスク固有の表現学習…Longformer Base 4096 は、長文ドキュメントの処理に特化したTransformerモデルです。RoBERTaをベースとし、最大4,096トークンの拡張シーケンスで事前学習されています。このモデルは、スライディングウィンドウとグローバルアテンションを組み合わせたハイブリッドアテンションメカニズムを採用し、効率的な長文理解とタスク固有の表現学習…

SpanBERT

AI GitHub リポジトリ

テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。SpanBERTは、テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。

bigscience/bloom

AI モデル

BLOOMは、BigScienceによって開発された多言語自動回帰型大規模言語モデルです。46の言語と13のプログラミング言語で一貫したテキストを生成し、自然言語処理や研究における多様なアプリケーションを可能にします。

XLM-RoBERTa Base

AI モデル

100の言語にわたる2.5TBのデータで事前学習された多言語モデルです。シーケンス分類やトークン分類などのタスクに優れており、さまざまな自然言語処理アプリケーションにとって貴重なツールです。XLM-RoBERTaは、100の言語にわたる2.5TBのデータで事前学習された多言語モデルです。シーケンス分類やトークン分類などのタスクに優れており、さまざまな自然言語処理アプリケーションにとって貴重なツールです。

Funnel-Transformer

AI GitHub リポジトリ

計算コストを削減するために隠れ状態を圧縮するAIモデルです。同じFLOPsでより深く、またはより広いモデルを構築でき、標準的な事前学習のためにトークンレベルの表現を復元できます。このモデルはTensorFlowとPyTorchの両方の実装で利用可能です。Funnel-Transformerは、計算コストを削減するために隠れ状態を圧縮するAIモデルです。同じFLOPsでより深く、またはより広いモデルを構築でき、標準的な事前学習のためにトークンレベルの表現を復元できます。このモデルはTensorFlowとPyTorchの両方の実装で利用可能です。

MASS

AI GitHub リポジトリ

シーケンス・トゥ・シーケンスの言語生成タスクのための事前学習手法です。エンコーダーがデコーダーで予測するために文の断片をマスクし、ニューラル機械翻訳やテキスト要約などのタスクを強化します。このコードベースは、Fairseqに基づいた様々なアプリケーションをサポートしています。MASSは、シーケンス・トゥ・シーケンスの言語生成タスクのための事前学習手法です。エンコーダーがデコーダーで予測するために文の断片をマスクし、ニューラル機械翻訳やテキスト要約などのタスクを強化します。このコードベースは、Fairseqに基づいた様々なアプリケーションをサポートしています。

チンチラ

AI モデル

Google DeepMindによる70億パラメータの言語モデルで、1.3兆トークンで訓練されており、より多くのデータで訓練された小型モデルが大型モデルを上回るかどうかをテストしています。DeepMindの280億パラメータのゴファーと同じトレーニングコンピュートを使用し、ほぼすべてのベンチマークでゴファーや他の大型モデルを上回りました。チンチラは、Google DeepMindによる70億パラメータの言語モデルで、1.3兆トークンで訓練されており、より多くのデータで訓練された小型モデルが大型モデルを上回るかどうかをテストしています。DeepMindの280億パラメータのゴファーと同じトレーニングコンピュートを使用し、ほぼすべてのベンチマークでゴファーや他の大型モデルを上回りました。

Informer2020

AI GitHub リポジトリ

Informer2020 GitHubリポジトリは、効率的な長系列時系列予測のために設計されたInformerモデルのPyTorch実装を提供します。ProbSparse Attentionを特徴とし、自己注意スコアのロングテール分布を処理することで、複雑な予測タスクに対する高度なソリューションを提供します。