Longformer Base 4096

google/bigbird-roberta-base

AI モデル

BigBirdベースモデルは、ブロック疎行列アテンションを使用して、はるかに長いシーケンスを処理できるように拡張されたBERTのTransformerです。マスク言語モデリングのために英語テキストで事前学習されており、最大4096トークンのシーケンスを効率的に処理でき、長文タスクで最先端の結果を達成しています。

Funnel-Transformer

AI GitHub リポジトリ

計算コストを削減するために隠れ状態を圧縮するAIモデルです。同じFLOPsでより深く、またはより広いモデルを構築でき、標準的な事前学習のためにトークンレベルの表現を復元できます。このモデルはTensorFlowとPyTorchの両方の実装で利用可能です。Funnel-Transformerは、計算コストを削減するために隠れ状態を圧縮するAIモデルです。同じFLOPsでより深く、またはより広いモデルを構築でき、標準的な事前学習のためにトークンレベルの表現を復元できます。このモデルはTensorFlowとPyTorchの両方の実装で利用可能です。

Informer2020

AI GitHub リポジトリ

Informer2020 GitHubリポジトリは、効率的な長系列時系列予測のために設計されたInformerモデルのPyTorch実装を提供します。ProbSparse Attentionを特徴とし、自己注意スコアのロングテール分布を処理することで、複雑な予測タスクに対する高度なソリューションを提供します。

SpanBERT

AI GitHub リポジトリ

テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。SpanBERTは、テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。

Transfo-XL-WT103

AI モデル

相対位置埋め込みを備えた因果的トランスフォーマーモデルであり、より長いコンテキストのために隠れ状態を再利用できます。Zihang Daiらによって開発され、入出力にアダプティブソフトマックスを使用しています。このモデルはテキスト生成タスクに適しており、Wikitext-103データセットでトレーニングされました。Transfo-XL-WT103は、相対位置埋め込みを備えた因果的トランスフォーマーモデルであり、より長いコンテキストのために隠れ状態を再利用できます。Zihang Daiらによって開発され、入出力にアダプティブソフトマックスを使用しています。このモデルはテキスト生成タスクに適しており、Wikitext-103データセットでトレーニングされました。

RETRO 言語モデル

AI モデル

RETRO（Retrieval Enhanced Transformers）は、検索機能をトランスフォーマーアーキテクチャに組み込んだAIモデルです。ウェブページ、書籍、ニュース、コードなど、膨大なテキストデータベースにアクセスし、言語生成の精度と事実の一貫性を向上させます。この手法は、標準的なトランスフォーマーと比較して大幅なパフォーマンス向上をもたらしま…

FNet

AI GitHub リポジトリ

自己注意機構をフーリエ変換に置き換えた効率的なTransformerライクなエンコーダーアーキテクチャです。Google Researchによって開発され、自然言語処理タスクにおいて高性能な代替手段を提供します。このモデルはJax/Flaxで実装されており、事前学習およびファインチューニングのためにGitHubで利用可能です。FNetは、自己注意機構をフーリエ変換に置き換えた効率的なTransformerライクなエンコーダーアーキテクチャです。Google Researchによって開発され、自然言語処理タスクにおいて高性能な代替手段を提供します。このモデルはJax/Flaxで実装されており、事前学習およびファインチューニングのためにGitHubで利用可能です。

DeBERTa - Microsoft Research

AI モデル

Microsoft Researchによって開発された大規模事前学習済み言語モデルです。T5 11Bモデルを性能で凌駕し、SuperGLUEベンチマークで人間レベルの結果を達成しています。この先進的なモデルは、自然言語理解タスクに顕著な能力を提供します。DeBERTaは、Microsoft Researchによって開発された大規模事前学習済み言語モデルです。T5 11Bモデルを性能で凌駕し、SuperGLUEベンチマークで人間レベルの結果を達成しています。この先進的なモデルは、自然言語理解タスクに顕著な能力を提供します。