Longformer Base 4096

google/bigbird-roberta-base

AI 模型

BigBird基础模型是一个Transformer模型，它通过块稀疏注意力机制扩展了BERT，能够处理更长的序列。该模型已针对英文文本进行掩码语言模型任务的预训练，可以高效处理长达4096个token的序列，并在长文档任务上取得了最先进的成果。

Funnel-Transformer

AI GitHub 仓库

AI 模型，它压缩隐藏状态以降低计算成本。它允许在相同的 FLOPs 下构建更深或更宽的模型，并能恢复标准预训练的 token 级表示。该模型提供 TensorFlow 和 PyTorch 实现。Funnel-Transformer 是一种 AI 模型，它压缩隐藏状态以降低计算成本。它允许在相同的 FLOPs 下构建更深或更宽的模型，并能恢复标准预训练的 token 级表示。该模型提供 TensorFlow 和 PyTorch 实现。

Informer2020

AI GitHub 仓库

Informer2020 GitHub 存储库提供了 Informer 模型的 PyTorch 实现，该模型专为高效长序列时间序列预测而设计。它采用 ProbSparse Attention 来处理自注意力得分中的长尾分布，为复杂的预测任务提供了先进的解决方案。

SpanBERT

AI GitHub 仓库

专注于通过表示和预测文本片段来改进预训练的 AI 模型。它提供预训练的基础版和大型版（区分大小写）模型，与 HuggingFace BERT 格式兼容。该代码库提供了在各种 NLP 任务（包括问答和关系抽取）上使用和评估 SpanBERT 的代码。SpanBERT 是一种专注于通过表示和预测文本片段来改进预训练的 AI 模型。它提供预训练的基础版和大型版（区分大小写）模型，与 HuggingFace BERT 格式兼容。该代码库提供了在各种 NLP 任务（包括问答和关系抽取）上使用和评估 SpanBERT 的代码。

Transfo-XL-WT103

AI 模型

具有相对位置嵌入的因果Transformer模型，可以重用隐藏状态以处理更长的上下文。该模型由Zihang Dai等人开发，并使用自适应Softmax处理输入和输出。该模型适用于文本生成任务，并在Wikitext-103数据集上进行了训练。Transfo-XL-WT103 是一种具有相对位置嵌入的因果Transformer模型，可以重用隐藏状态以处理更长的上下文。该模型由Zihang Dai等人开发，并使用自适应Softmax处理输入和输出。该模型适用于文本生成任务，并在Wikitext-103数据集上进行了训练。

RETRO 语言模型

AI 模型

RETRO（检索增强 Transformer）是一个将检索能力增强到 Transformer 架构中的 AI 模型。它能够访问包含网页、书籍、新闻和代码等海量文本的数据库，以提高语言生成的准确性和事实一致性。这种方法比标准 Transformer 提供了显著的性能提升。

FNet

AI GitHub 仓库

高效的类 Transformer 编码器架构，它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发，为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现，并在 GitHub 上提供，可用于预训练和微调。FNet 是一种高效的类 Transformer 编码器架构，它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发，为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现，并在 GitHub 上提供，可用于预训练和微调。

DeBERTa - 微软研究院

AI 模型

微软研究院开发的大规模预训练语言模型。其性能超越 T5 11B 模型，并在 SuperGLUE 基准测试中取得了接近人类水平的结果。该先进模型为自然语言理解任务提供了强大的能力。DeBERTa 是微软研究院开发的大规模预训练语言模型。其性能超越 T5 11B 模型，并在 SuperGLUE 基准测试中取得了接近人类水平的结果。该先进模型为自然语言理解任务提供了强大的能力。