Transfo-XL-WT103

Longformer Base 4096

AI 模型

为处理长文档而设计的 Transformer 模型。它基于 RoBERTa，并在最长 4096 个 token 的扩展序列上进行了预训练。该模型采用混合注意力机制，结合了滑动窗口和全局注意力，以实现高效的长文档理解和特定任务的表征学习。Longformer Base 4096 是一款为处理长文档而设计的 Transformer 模型。它基于 RoBERTa，并在最长 4096 个 token 的扩展序列上进行了预训练。该模型采用混合注意力机制，结合了滑动窗口和全局注意力，以实现高效的长文档理解和特定任务的表征学习。

RETRO 语言模型

AI 模型

RETRO（检索增强 Transformer）是一个将检索能力增强到 Transformer 架构中的 AI 模型。它能够访问包含网页、书籍、新闻和代码等海量文本的数据库，以提高语言生成的准确性和事实一致性。这种方法比标准 Transformer 提供了显著的性能提升。

Salesforce CTRL 语言模型

大语言模型

#49

CTRL 是一个拥有 16 亿参数的条件 Transformer 语言模型，用于可控文本生成。它基于控制码进行条件设置，以指定领域、实体和特定任务的行为，从而实现对生成内容的更明确控制。适用于寻求细致文本生成的研发人员。

SpanBERT

AI GitHub 仓库

专注于通过表示和预测文本片段来改进预训练的 AI 模型。它提供预训练的基础版和大型版（区分大小写）模型，与 HuggingFace BERT 格式兼容。该代码库提供了在各种 NLP 任务（包括问答和关系抽取）上使用和评估 SpanBERT 的代码。SpanBERT 是一种专注于通过表示和预测文本片段来改进预训练的 AI 模型。它提供预训练的基础版和大型版（区分大小写）模型，与 HuggingFace BERT 格式兼容。该代码库提供了在各种 NLP 任务（包括问答和关系抽取）上使用和评估 SpanBERT 的代码。

Funnel-Transformer

AI GitHub 仓库

AI 模型，它压缩隐藏状态以降低计算成本。它允许在相同的 FLOPs 下构建更深或更宽的模型，并能恢复标准预训练的 token 级表示。该模型提供 TensorFlow 和 PyTorch 实现。Funnel-Transformer 是一种 AI 模型，它压缩隐藏状态以降低计算成本。它允许在相同的 FLOPs 下构建更深或更宽的模型，并能恢复标准预训练的 token 级表示。该模型提供 TensorFlow 和 PyTorch 实现。

Qwen1.5-110B 模型

AI 模型

基于变换器的语言模型，提供显著的性能提升、多语言支持和稳定的 32K 上下文长度。非常适合高级 AI 应用。Qwen1.5-110B 是一种基于变换器的语言模型，提供显著的性能提升、多语言支持和稳定的 32K 上下文长度。非常适合高级 AI 应用。

google/bigbird-roberta-base

AI 模型

BigBird基础模型是一个Transformer模型，它通过块稀疏注意力机制扩展了BERT，能够处理更长的序列。该模型已针对英文文本进行掩码语言模型任务的预训练，可以高效处理长达4096个token的序列，并在长文档任务上取得了最先进的成果。

Muse Glimmer

AI 模型

拥有300亿参数的因果语言模型，旨在在消费硬件上执行自主代理任务。它集成了多步骤推理、可靠的工具使用和多模态理解，使得在不依赖云的情况下实现高效的本地部署。Muse Glimmer是一个拥有300亿参数的因果语言模型，旨在在消费硬件上执行自主代理任务。它集成了多步骤推理、可靠的工具使用和多模态理解，使得在不依赖云的情况下实现高效的本地部署。