Funnel-Transformer

FNet

AI GitHub 仓库

高效的类 Transformer 编码器架构，它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发，为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现，并在 GitHub 上提供，可用于预训练和微调。FNet 是一种高效的类 Transformer 编码器架构，它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发，为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现，并在 GitHub 上提供，可用于预训练和微调。

Mamba SSM 架构

AI GitHub 仓库

新颖的状态空间模型架构，专为高效序列建模而设计，在语言等信息密集型数据上尤其有效。它提供了硬件感知的实现，旨在超越先前亚二次方模型并与 Transformer 竞争。Mamba 是一种新颖的状态空间模型架构，专为高效序列建模而设计，在语言等信息密集型数据上尤其有效。它提供了硬件感知的实现，旨在超越先前亚二次方模型并与 Transformer 竞争。

OpenAI Whisper

AI GitHub 仓库

Whisper 是 OpenAI 开发的一个强大、通用的语音识别模型。它在多语言语音识别、语音翻译和语言识别方面表现出色。通过在多样化的音频数据上进行训练，它提供了一个单一模型来处理各种语音处理任务，用统一的序列到序列方法取代了传统的多阶段流水线。

DeepSeek-R1

AI GitHub 仓库

专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库，包括插件、稀疏注意力内核和高效的通信库。DeepSeek-R1是一个专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库，包括插件、稀疏注意力内核和高效的通信库。

ConvBERT

AI GitHub 仓库

开源的 AI 模型，用于预训练语言模型，引入了具有基于跨度的动态卷积的新型架构。此 GitHub 存储库提供了预训练和微调 ConvBERT 模型的代码，已在 V100 GPU 上进行了测试，并包含使用 TensorFlow 的说明。ConvBERT 是一个开源的 AI 模型，用于预训练语言模型，引入了具有基于跨度的动态卷积的新型架构。此 GitHub 存储库提供了预训练和微调 ConvBERT 模型的代码，已在 V100 GPU 上进行了测试，并包含使用 TensorFlow 的说明。

DeepSeek-V3

大语言模型

#31

具有 6710 亿参数的专家混合语言模型，旨在实现高效推理和经济实惠的训练。它在各种基准测试中表现出色，展示了在自然语言处理任务中的强大性能。DeepSeek-V3 是一个具有 6710 亿参数的专家混合语言模型，旨在实现高效推理和经济实惠的训练。它在各种基准测试中表现出色，展示了在自然语言处理任务中的强大性能。

DeepSeek-V3

AI GitHub 仓库

DeepSeek 发布的开放权重混合专家语言模型，拥有 6710 亿个参数，总共每个令牌激活 370 亿个参数。该模型在 14.8 万亿个令牌上进行预训练，具有 128K 的上下文长度，代码和权重已在 GitHub 和 Hugging Face 上发布，供自托管或通过 DeepSeek 的聊天网站使用。DeepSeek-V3 是 DeepSeek 发布的开放权重混合专家语言模型，拥有 6710 亿个参数，总共每个令牌激活 370 亿个参数。该模型在 14.8 万亿个令牌上进行预训练，具有 128K 的上下文长度，代码和权重已在 GitHub 和 Hugging Face 上发布，供自托管或通过 DeepSeek 的聊天网站使用。

nanoGPT

AI GitHub 仓库

极简、高性能的 GitHub 仓库，用于训练和微调中等规模的 GPT 模型。它提供了一个简单易读的代码库，供研究人员和开发人员试验 GPT 架构、复现 GPT-2 结果并构建自定义语言模型。nanoGPT 是一个极简、高性能的 GitHub 仓库，用于训练和微调中等规模的 GPT 模型。它提供了一个简单易读的代码库，供研究人员和开发人员试验 GPT 架构、复现 GPT-2 结果并构建自定义语言模型。