Informer2020

Autoformer

AI GitHub 仓库

用于长期时间序列预测的 AI 模型，它利用分解 Transformer 和自相关机制。该模型在各种基准测试中取得了最先进的结果，为提高实际应用中的预测准确性提供了一种新颖的系列连接方法。Autoformer 是一款用于长期时间序列预测的 AI 模型，它利用分解 Transformer 和自相关机制。该模型在各种基准测试中取得了最先进的结果，为提高实际应用中的预测准确性提供了一种新颖的系列连接方法。

LTSF-Linear

AI GitHub 仓库

"Are Transformers Effective for Time Series Forecasting?" 的官方 PyTorch 实现。它引入了一系列线性模型（Linear, DLinear, NLinear），在长期时间序列预测任务上表现优于 Transformer，同时具有高效率和可解释性。LTSF-Linear 是 "Are Transformers Effective for Time Series Forecasting?" 的官方 PyTorch 实现。它引入了一系列线性模型（Linear, DLinear, NLinear），在长期时间序列预测任务上表现优于 Transformer，同时具有高效率和可解释性。

FEDformer

AI GitHub 仓库

频率增强分解 Transformer，专为高效的长期时间序列预测而设计。它实现了与序列长度成线性复杂度的计算，通过显著降低多变量和单变量数据集上的预测误差，性能优于最先进的方法。该模型提供开源代码。FEDformer 是一种频率增强分解 Transformer，专为高效的长期时间序列预测而设计。它实现了与序列长度成线性复杂度的计算，通过显著降低多变量和单变量数据集上的预测误差，性能优于最先进的方法。该模型提供开源代码。

Longformer Base 4096

AI 模型

为处理长文档而设计的 Transformer 模型。它基于 RoBERTa，并在最长 4096 个 token 的扩展序列上进行了预训练。该模型采用混合注意力机制，结合了滑动窗口和全局注意力，以实现高效的长文档理解和特定任务的表征学习。Longformer Base 4096 是一款为处理长文档而设计的 Transformer 模型。它基于 RoBERTa，并在最长 4096 个 token 的扩展序列上进行了预训练。该模型采用混合注意力机制，结合了滑动窗口和全局注意力，以实现高效的长文档理解和特定任务的表征学习。

FNet

AI GitHub 仓库

高效的类 Transformer 编码器架构，它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发，为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现，并在 GitHub 上提供，可用于预训练和微调。FNet 是一种高效的类 Transformer 编码器架构，它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发，为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现，并在 GitHub 上提供，可用于预训练和微调。

Funnel-Transformer

AI GitHub 仓库

AI 模型，它压缩隐藏状态以降低计算成本。它允许在相同的 FLOPs 下构建更深或更宽的模型，并能恢复标准预训练的 token 级表示。该模型提供 TensorFlow 和 PyTorch 实现。Funnel-Transformer 是一种 AI 模型，它压缩隐藏状态以降低计算成本。它允许在相同的 FLOPs 下构建更深或更宽的模型，并能恢复标准预训练的 token 级表示。该模型提供 TensorFlow 和 PyTorch 实现。

DeepSeek-R1

AI GitHub 仓库

专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库，包括插件、稀疏注意力内核和高效的通信库。DeepSeek-R1是一个专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库，包括插件、稀疏注意力内核和高效的通信库。

LSTNet

AI GitHub 仓库

深度学习模型，专为时间序列预测而设计。它通过结合循环神经网络和卷积神经网络，有效地建模长期和短期时间模式。该模型对于复杂的时间序列数据特别有用。LSTNet 是一款深度学习模型，专为时间序列预测而设计。它通过结合循环神经网络和卷积神经网络，有效地建模长期和短期时间模式。该模型对于复杂的时间序列数据特别有用。