RETRO 语言模型

SpanBERT

AI GitHub 仓库

专注于通过表示和预测文本片段来改进预训练的 AI 模型。它提供预训练的基础版和大型版（区分大小写）模型，与 HuggingFace BERT 格式兼容。该代码库提供了在各种 NLP 任务（包括问答和关系抽取）上使用和评估 SpanBERT 的代码。SpanBERT 是一种专注于通过表示和预测文本片段来改进预训练的 AI 模型。它提供预训练的基础版和大型版（区分大小写）模型，与 HuggingFace BERT 格式兼容。该代码库提供了在各种 NLP 任务（包括问答和关系抽取）上使用和评估 SpanBERT 的代码。

google/bigbird-roberta-base

AI 模型

BigBird基础模型是一个Transformer模型，它通过块稀疏注意力机制扩展了BERT，能够处理更长的序列。该模型已针对英文文本进行掩码语言模型任务的预训练，可以高效处理长达4096个token的序列，并在长文档任务上取得了最先进的成果。

Longformer Base 4096

AI 模型

为处理长文档而设计的 Transformer 模型。它基于 RoBERTa，并在最长 4096 个 token 的扩展序列上进行了预训练。该模型采用混合注意力机制，结合了滑动窗口和全局注意力，以实现高效的长文档理解和特定任务的表征学习。Longformer Base 4096 是一款为处理长文档而设计的 Transformer 模型。它基于 RoBERTa，并在最长 4096 个 token 的扩展序列上进行了预训练。该模型采用混合注意力机制，结合了滑动窗口和全局注意力，以实现高效的长文档理解和特定任务的表征学习。

Salesforce CTRL 语言模型

大语言模型

CTRL 是一个拥有 16 亿参数的条件 Transformer 语言模型，用于可控文本生成。它基于控制码进行条件设置，以指定领域、实体和特定任务的行为，从而实现对生成内容的更明确控制。适用于寻求细致文本生成的研发人员。

Transfo-XL-WT103

AI 模型

具有相对位置嵌入的因果Transformer模型，可以重用隐藏状态以处理更长的上下文。该模型由Zihang Dai等人开发，并使用自适应Softmax处理输入和输出。该模型适用于文本生成任务，并在Wikitext-103数据集上进行了训练。Transfo-XL-WT103 是一种具有相对位置嵌入的因果Transformer模型，可以重用隐藏状态以处理更长的上下文。该模型由Zihang Dai等人开发，并使用自适应Softmax处理输入和输出。该模型适用于文本生成任务，并在Wikitext-103数据集上进行了训练。

FNet

AI GitHub 仓库

高效的类 Transformer 编码器架构，它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发，为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现，并在 GitHub 上提供，可用于预训练和微调。FNet 是一种高效的类 Transformer 编码器架构，它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发，为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现，并在 GitHub 上提供，可用于预训练和微调。

GODEL: 目标导向对话模型

大语言模型

大规模预训练的基于 Transformer 的目标导向对话生成模型。它在基于外部文本的响应生成方面表现出色，能够高效地针对各种对话任务进行微调。该存储库提供了用于研究和开发的源代码、数据集和预训练模型。GODEL 是一个大规模预训练的基于 Transformer 的目标导向对话生成模型。它在基于外部文本的响应生成方面表现出色，能够高效地针对各种对话任务进行微调。该存储库提供了用于研究和开发的源代码、数据集和预训练模型。

Funnel-Transformer

AI GitHub 仓库

AI 模型，它压缩隐藏状态以降低计算成本。它允许在相同的 FLOPs 下构建更深或更宽的模型，并能恢复标准预训练的 token 级表示。该模型提供 TensorFlow 和 PyTorch 实现。Funnel-Transformer 是一种 AI 模型，它压缩隐藏状态以降低计算成本。它允许在相同的 FLOPs 下构建更深或更宽的模型，并能恢复标准预训练的 token 级表示。该模型提供 TensorFlow 和 PyTorch 实现。