跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

ConvBERT

ConvBERT 是一个开源的 AI 模型,用于预训练语言模型,引入了具有基于跨度的动态卷积的新型架构。此 GitHub 存储库提供了预训练和微调 ConvBERT 模型的代码,已在 V100 GPU 上进行了测试,并包含使用 TensorFlow 的说明。

查看仓库
分享
查看仓库
分享

ConvBERT 是一种预训练语言模型架构,通过集成基于跨度的动态卷积来增强传统的 BERT 模型。这种方法旨在提高模型在理解和生成人类语言方面的效率和性能。ConvBERT 的官方实现和代码库由 yitu-opensource 组织在 GitHub 上公开管理。

阅读更多

该存储库为有兴趣利用或贡献 ConvBERT 的研究人员和开发人员提供了全面的资源。它包括从头开始预训练 ConvBERT 模型以及为特定下游任务(如 GLUE 基准测试中的任务)微调预训练模型的详细说明。代码使用 TensorFlow 1.15 版本开发和测试,并与 Python 3 环境兼容。

对于预训练,该存储库概述了使用 OpenWebText 语料库构建中小型 ConvBERT 模型(约 1700 万个参数)的步骤。此过程涉及使用 `build_data.sh` 和 `build_openwebtext_pretraining_dataset.py` 等提供的脚本进行数据准备,然后通过 `pretrain.sh` 进行模型训练。微调部分指导用户将预训练的 ConvBERT 模型应用于 GLUE 等任务,提供了 `download_glue_data.py` 和 `finetune.sh` 等脚本。`configure_pretraining.py` 和 `configure_finetuning.py` 等配置文件允许自定义超参数。

该项目基于 ELECTRA 代码库构建,并集成了动态卷积实现。ConvBERT 架构在 2020 年 NeurIPS 会议论文《ConvBERT: Improving BERT with Span-based Dynamic Convolution》中有详细介绍。该存储库还列出了依赖项,包括 TensorFlow、NumPy 和 scikit-learn,并提供预训练模型的链接以方便使用。这项开源计划促进了自然语言处理领域的协作和进步。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端, 自托管
  • 平台网页版

  • 基于跨度的动态卷积架构

  • 预训练语言模型

  • 针对下游任务(例如 GLUE)进行微调

  • TensorFlow 1.15 兼容性

  • Python 3 支持

  • GitHub 上提供开源代码

  • 包含数据构建和模型训练的脚本

  • 预训练和微调的详细说明

  • 模型在 V100 GPU 上进行了测试

  • 引用 NeurIPS 2020 论文以获取详细描述

  • 基于 ELECTRA 的代码库

  • 提供预训练模型的链接

  1. 访问代码:从 GitHub 克隆 ConvBERT 存储库。

  2. 设置环境:安装 Python 3、TensorFlow 1.15、NumPy 和 scikit-learn。

  3. 预训练模型:下载 OpenWebText 语料库,运行 `build_data.sh` 和 `pretrain.sh`。

  4. 微调模型:下载 GLUE 数据,运行 `download_glue_data.py` 和 `finetune.sh`。

  5. 配置超参数:修改 `configure_pretraining.py` 或 `configure_finetuning.py` 中的设置。

  6. 集成模型:为您的 NLP 任务利用提供的脚本和预训练权重。

  • 语言模型预训练
  • 文本分类
  • 自然语言理解
  • 序列标注
  • 问答
  • 文本生成
  • 研究与开发

ConvBERT 评价

加载中...

与 ConvBERT 类似的热门AI工具

ConvMixer

AI GitHub 仓库

该存储库提供了 ConvMixer 的实现,这是一种用于图像识别任务的卷积神经网络架构。它基于论文 "Patches Are All You Need? 🤷",并提供预训练模型权重用于评估以及在 ImageNet-1k 和 CIFAR-10 等数据集上进行训练的代码。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

该存储库提供了 ConvMixer 的实现,这是一种用于图像识别任务的卷积神经网络架构。它基于论文 "Patches Are All You Need? 🤷",并提供预训练模型权重用于评估以及在 ImageNet-1k 和 CIFAR-10 等数据集上进行训练的代码。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

LLaVA

AI GitHub 仓库

LLaVA 是一个视觉指令调优模型,结合了大型语言和视觉能力。其目标是达到 GPT-4V 级别的性能,实现多模态理解和交互。该项目为研究人员和开发者提供了代码、模型和资源。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

视觉指令调优模型,结合了大型语言和视觉能力。其目标是达到 GPT-4V 级别的性能,实现多模态理解和交互。该项目为研究人员和开发者提供了代码、模型和资源。LLaVA 是一个视觉指令调优模型,结合了大型语言和视觉能力。其目标是达到 GPT-4V 级别的性能,实现多模态理解和交互。该项目为研究人员和开发者提供了代码、模型和资源。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

MPNet

AI GitHub 仓库

MPNet 是一种新颖的语言理解预训练方法,在 BERT 和 XLNet 的基础上进行了改进。它为各种预训练模型提供了统一的实现,并支持在 GLUE 和 SQuAD 等多样化的语言理解任务上进行预训练和微调的代码。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

新颖的语言理解预训练方法,在 BERT 和 XLNet 的基础上进行了改进。它为各种预训练模型提供了统一的实现,并支持在 GLUE 和 SQuAD 等多样化的语言理解任务上进行预训练和微调的代码。MPNet 是一种新颖的语言理解预训练方法,在 BERT 和 XLNet 的基础上进行了改进。它为各种预训练模型提供了统一的实现,并支持在 GLUE 和 SQuAD 等多样化的语言理解任务上进行预训练和微调的代码。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

FNet

AI GitHub 仓库

FNet 是一种高效的类 Transformer 编码器架构,它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发,为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现,并在 GitHub 上提供,可用于预训练和微调。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

高效的类 Transformer 编码器架构,它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发,为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现,并在 GitHub 上提供,可用于预训练和微调。FNet 是一种高效的类 Transformer 编码器架构,它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发,为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现,并在 GitHub 上提供,可用于预训练和微调。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

LLMs-from-scratch

AI GitHub 仓库

LLMs-from-scratch 是一个 GitHub 项目,指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法,非常适合对人工智能和机器学习感兴趣的开发者和研究人员。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

GitHub 项目,指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法,非常适合对人工智能和机器学习感兴趣的开发者和研究人员。LLMs-from-scratch 是一个 GitHub 项目,指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法,非常适合对人工智能和机器学习感兴趣的开发者和研究人员。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

SpanBERT

AI GitHub 仓库

SpanBERT 是一种专注于通过表示和预测文本片段来改进预训练的 AI 模型。它提供预训练的基础版和大型版(区分大小写)模型,与 HuggingFace BERT 格式兼容。该代码库提供了在各种 NLP 任务(包括问答和关系抽取)上使用和评估 SpanBERT 的代码。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

专注于通过表示和预测文本片段来改进预训练的 AI 模型。它提供预训练的基础版和大型版(区分大小写)模型,与 HuggingFace BERT 格式兼容。该代码库提供了在各种 NLP 任务(包括问答和关系抽取)上使用和评估 SpanBERT 的代码。SpanBERT 是一种专注于通过表示和预测文本片段来改进预训练的 AI 模型。它提供预训练的基础版和大型版(区分大小写)模型,与 HuggingFace BERT 格式兼容。该代码库提供了在各种 NLP 任务(包括问答和关系抽取)上使用和评估 SpanBERT 的代码。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Keras

AI GitHub 仓库

Keras是一个开源深度学习库,旨在为人类服务。它简化了构建神经网络的过程,并允许开发者在GitHub上为其开发做出贡献。

机器学习平台
查看工具

AI GitHub 仓库

开源深度学习库,旨在为人类服务。它简化了构建神经网络的过程,并允许开发者在GitHub上为其开发做出贡献。Keras是一个开源深度学习库,旨在为人类服务。它简化了构建神经网络的过程,并允许开发者在GitHub上为其开发做出贡献。

精选机器学习平台
查看 AI GitHub 仓库 Top 250

LlamaFactory

AI GitHub 仓库

LlamaFactory是一个GitHub仓库,专注于对100多种大型语言模型(LLMs)和视觉语言模型(VLMs)进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。

机器学习平台

AI GitHub 仓库 排名第 12 位

查看工具

AI GitHub 仓库

GitHub仓库,专注于对100多种大型语言模型(LLMs)和视觉语言模型(VLMs)进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。LlamaFactory是一个GitHub仓库,专注于对100多种大型语言模型(LLMs)和视觉语言模型(VLMs)进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。

精选机器学习平台
AI GitHub 仓库 排名第 12 位
1/8