RETRO 言語モデル

SpanBERT

AI GitHub リポジトリ

テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。SpanBERTは、テキストの範囲（スパン）の表現と予測に焦点を当てることで、事前学習の改善を目指すAIモデルです。HuggingFace BERTフォーマットと互換性のある、事前学習済みのベースモデルとラージモデルを提供します。このリポジトリには、質問応答や関係抽出を含む様々なNLPタスクでSpanBERTを使用および評価するためのコードが含まれています。

google/bigbird-roberta-base

AI モデル

BigBirdベースモデルは、ブロック疎行列アテンションを使用して、はるかに長いシーケンスを処理できるように拡張されたBERTのTransformerです。マスク言語モデリングのために英語テキストで事前学習されており、最大4096トークンのシーケンスを効率的に処理でき、長文タスクで最先端の結果を達成しています。

Longformer Base 4096

AI モデル

長文ドキュメントの処理に特化したTransformerモデルです。RoBERTaをベースとし、最大4,096トークンの拡張シーケンスで事前学習されています。このモデルは、スライディングウィンドウとグローバルアテンションを組み合わせたハイブリッドアテンションメカニズムを採用し、効率的な長文理解とタスク固有の表現学習…Longformer Base 4096 は、長文ドキュメントの処理に特化したTransformerモデルです。RoBERTaをベースとし、最大4,096トークンの拡張シーケンスで事前学習されています。このモデルは、スライディングウィンドウとグローバルアテンションを組み合わせたハイブリッドアテンションメカニズムを採用し、効率的な長文理解とタスク固有の表現学習…

Salesforce CTRL Language Model

LLM

CTRLは、制御可能なテキスト生成のための16億パラメータを持つ条件付きTransformer言語モデルです。ドメイン、エンティティ、タスク固有の動作を指定するために制御コードで条件付けを行い、生成されるコンテンツに対するより明示的な制御を可能にします。ニュアンスのあるテキスト生成を求める研究者や開発者に役立ちます。

Transfo-XL-WT103

AI モデル

相対位置埋め込みを備えた因果的トランスフォーマーモデルであり、より長いコンテキストのために隠れ状態を再利用できます。Zihang Daiらによって開発され、入出力にアダプティブソフトマックスを使用しています。このモデルはテキスト生成タスクに適しており、Wikitext-103データセットでトレーニングされました。Transfo-XL-WT103は、相対位置埋め込みを備えた因果的トランスフォーマーモデルであり、より長いコンテキストのために隠れ状態を再利用できます。Zihang Daiらによって開発され、入出力にアダプティブソフトマックスを使用しています。このモデルはテキスト生成タスクに適しており、Wikitext-103データセットでトレーニングされました。

FNet

AI GitHub リポジトリ

自己注意機構をフーリエ変換に置き換えた効率的なTransformerライクなエンコーダーアーキテクチャです。Google Researchによって開発され、自然言語処理タスクにおいて高性能な代替手段を提供します。このモデルはJax/Flaxで実装されており、事前学習およびファインチューニングのためにGitHubで利用可能です。FNetは、自己注意機構をフーリエ変換に置き換えた効率的なTransformerライクなエンコーダーアーキテクチャです。Google Researchによって開発され、自然言語処理タスクにおいて高性能な代替手段を提供します。このモデルはJax/Flaxで実装されており、事前学習およびファインチューニングのためにGitHubで利用可能です。

GODEL: Goal-Directed Dialog Models

LLM

目標指向型対話生成のための大規模事前学習済みTransformerベースモデルです。外部テキストに基づいた応答生成に優れており、様々な対話タスクに対して効率的なファインチューニングを可能にします。リポジトリには、研究開発用のコード、データセット、事前学習済みモデルが提供されています。GODELは、目標指向型対話生成のための大規模事前学習済みTransformerベースモデルです。外部テキストに基づいた応答生成に優れており、様々な対話タスクに対して効率的なファインチューニングを可能にします。リポジトリには、研究開発用のコード、データセット、事前学習済みモデルが提供されています。

Funnel-Transformer

AI GitHub リポジトリ

計算コストを削減するために隠れ状態を圧縮するAIモデルです。同じFLOPsでより深く、またはより広いモデルを構築でき、標準的な事前学習のためにトークンレベルの表現を復元できます。このモデルはTensorFlowとPyTorchの両方の実装で利用可能です。Funnel-Transformerは、計算コストを削減するために隠れ状態を圧縮するAIモデルです。同じFLOPsでより深く、またはより広いモデルを構築でき、標準的な事前学習のためにトークンレベルの表現を復元できます。このモデルはTensorFlowとPyTorchの両方の実装で利用可能です。