跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

UNITER

UNITER 是 ECCV 2020 论文“UNITER: UNiversal Image-TExt Representation Learning”的研究代码库。它提供了用于各种视觉-语言任务(包括 VQA、VCR 和图像-文本检索)的微调和推理代码。UNITER-base 和 UNITER-large 的预训练检查点均可用。

查看仓库
分享
查看仓库
分享

UNITER 研究代码库,发表于 ECCV 2020 论文“UNITER: UNiversal Image-TExt Representation Learning”,提供了一套全面的多模态 AI 研究工具。该代码库支持一系列视觉-语言任务的微调和推理,包括视觉问答 (VQA)、视觉常识推理 (VCR)、SNLI-VE(视觉蕴含)、COCO 和 Flickr30k 等数据集的图像-文本检索,以及指代表达式理解 (RefCOCO, RefCOCO+, RefCOCO-g)。

阅读更多

UNITER 基于通用的图像-文本表示学习框架构建。代码同时支持 UNITER-base 和 UNITER-large 的预训练检查点,并提供领域内预训练的选项。该代码库包含数据预处理、模型训练和推理的脚本。它利用了 PyTorch、HuggingFace Transformers、OpenNMT 和 Nvidia 的 DeepLearningExamples 等外部库,并使用 BUTD 提取图像特征。

为方便复现,提供了一个 Docker 镜像,需要特定的 NVIDIA 驱动和 Docker 版本。设置过程包括将源代码和数据目录挂载到容器中。该代码库详细介绍了 NLVR2 等任务的快速入门指南,演示了数据下载、Docker 容器启动、微调以及推理/评估流程。通过命令行参数和 JSON 配置文件支持自定义,并提供使用 Horovod 进行多 GPU 训练的选项。

该项目还概述了下游任务的步骤,例如 VQA、VCR(包括第二阶段预训练选项)、视觉蕴含、图像-文本检索(零样本和使用硬负例进行微调以用于 Flickr30k 和 COCO)、指代表达式以及领域内预训练。用户可以按照指南下载特定数据集并运行相应的训练和推理脚本。该代码库根据 MIT 许可证发布。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端, 自托管
  • 平台Linux

  • ECCV 2020 论文“UNITER: UNiversal Image-TExt Representation Learning”的官方研究代码

  • 支持 NLVR2、VQA、VCR、SNLI-VE、图像-文本检索和指代表达式的微调

  • 提供 UNITER-base 和 UNITER-large 模型的预训练检查点

  • 包含数据预处理、模型训练和推理的脚本

  • 提供 Docker 镜像以简化复现和环境设置

  • 通过 Horovod 支持多 GPU 训练

  • 包含用于图像-文本检索任务的零样本和微调代码

  • 支持领域内预训练和 VCR 第二阶段预训练

  1. 使用提供的 bash 脚本下载预训练检查点和特定任务数据。

  2. 启动 Docker 容器以获得一致且可复现的环境。

  3. 通过运行带有自定义配置的微调脚本来集成模型训练。

  4. 使用专用的推理脚本对下游任务执行推理。

  5. 使用提供的评估脚本或将结果提交到排行榜来评估模型性能。

  6. 通过命令行参数或 JSON 配置文件自定义训练选项。

  • 视觉问答
  • 视觉常识推理
  • 图像-文本检索
  • 指代表达式理解
  • 视觉蕴含
  • 多模态预训练

与 UNITER 类似的热门AI工具

LLaVA

AI GitHub 仓库

LLaVA 是一个视觉指令调优模型,结合了大型语言和视觉能力。其目标是达到 GPT-4V 级别的性能,实现多模态理解和交互。该项目为研究人员和开发者提供了代码、模型和资源。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

视觉指令调优模型,结合了大型语言和视觉能力。其目标是达到 GPT-4V 级别的性能,实现多模态理解和交互。该项目为研究人员和开发者提供了代码、模型和资源。LLaVA 是一个视觉指令调优模型,结合了大型语言和视觉能力。其目标是达到 GPT-4V 级别的性能,实现多模态理解和交互。该项目为研究人员和开发者提供了代码、模型和资源。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

MiniGPT-4 & MiniGPT-v2

AI GitHub 仓库

MiniGPT-4 和 MiniGPT-v2 的开源代码,先进的大型语言模型,增强视觉-语言理解能力。这些模型支持视觉-语言任务的多任务学习,提供图像理解和生成能力。它们基于 Llama 2 和 Vicuna 模型构建,为研究人员和开发人员提供了强大的工具。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

MiniGPT-4 和 MiniGPT-v2 的开源代码,先进的大型语言模型,增强视觉-语言理解能力。这些模型支持视觉-语言任务的多任务学习,提供图像理解和生成能力。它们基于 Llama 2 和 Vicuna 模型构建,为研究人员和开发人员提供了强大的工具。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Phi-4-reasoning-vision-15B是微软开发的多模态AI模型,旨在处理需要视觉-语言理解和推理能力的任务。它在科学推理和计算机使用代理任务中表现出色,适用于各种应用。

AI 模型与大语言模型
查看工具

微软开发的多模态AI模型,旨在处理需要视觉-语言理解和推理能力的任务。它在科学推理和计算机使用代理任务中表现出色,适用于各种应用。Phi-4-reasoning-vision-15B是微软开发的多模态AI模型,旨在处理需要视觉-语言理解和推理能力的任务。它在科学推理和计算机使用代理任务中表现出色,适用于各种应用。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

DeepSeek-R1

AI GitHub 仓库

DeepSeek-R1是一个专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库,包括插件、稀疏注意力内核和高效的通信库。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库,包括插件、稀疏注意力内核和高效的通信库。DeepSeek-R1是一个专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库,包括插件、稀疏注意力内核和高效的通信库。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

LearningToCompare_FSL

AI GitHub 仓库

该存储库提供了CVPR 2018论文《Learning to Compare: Relation Network for Few-Shot Learning》的PyTorch代码。它侧重于少样本学习(Few-Shot Learning)方面,提供了在Omniglot和mini-Imagenet等数据集上训练和测试模型的实现。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

该存储库提供了CVPR 2018论文《Learning to Compare: Relation Network for Few-Shot Learning》的PyTorch代码。它侧重于少样本学习(Few-Shot Learning)方面,提供了在Omniglot和mini-Imagenet等数据集上训练和测试模型的实现。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

MASS

AI GitHub 仓库

MASS 是一种用于序列到序列语言生成任务的预训练方法。它会掩盖句子片段,让编码器在解码器中进行预测,从而增强神经机器翻译和文本摘要等任务。该代码库支持基于 Fairseq 的各种应用。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

用于序列到序列语言生成任务的预训练方法。它会掩盖句子片段,让编码器在解码器中进行预测,从而增强神经机器翻译和文本摘要等任务。该代码库支持基于 Fairseq 的各种应用。MASS 是一种用于序列到序列语言生成任务的预训练方法。它会掩盖句子片段,让编码器在解码器中进行预测,从而增强神经机器翻译和文本摘要等任务。该代码库支持基于 Fairseq 的各种应用。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Qwen3-VL

AI GitHub 仓库

Qwen3-VL 是阿里云 Qwen 团队推出的一系列视觉语言模型,提供密集型和专家混合型两种规模,包含指令版和推理版("思考")。它能够同时读取图像、视频和文本,具有原生 256K 上下文窗口,可扩展至 1M,并具备用于 GUI 自动化、OCR 和空间推理的功能。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

阿里云 Qwen 团队推出的一系列视觉语言模型,提供密集型和专家混合型两种规模,包含指令版和推理版("思考")。它能够同时读取图像、视频和文本,具有原生 256K 上下文窗口,可扩展至 1M,并具备用于 GUI 自动化、OCR 和空间推理的功能。Qwen3-VL 是阿里云 Qwen 团队推出的一系列视觉语言模型,提供密集型和专家混合型两种规模,包含指令版和推理版("思考")。它能够同时读取图像、视频和文本,具有原生 256K 上下文窗口,可扩展至 1M,并具备用于 GUI 自动化、OCR 和空间推理的功能。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

CLIP

AI GitHub 仓库

CLIP是OpenAI开发的一个模型,能够根据给定的图像预测最相关的文本片段。它使用对比语言-图像预训练来理解和生成准确的图像文本描述,增强了人工智能对视觉内容的解读能力。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

OpenAI开发的一个模型,能够根据给定的图像预测最相关的文本片段。它使用对比语言-图像预训练来理解和生成准确的图像文本描述,增强了人工智能对视觉内容的解读能力。CLIP是OpenAI开发的一个模型,能够根据给定的图像预测最相关的文本片段。它使用对比语言-图像预训练来理解和生成准确的图像文本描述,增强了人工智能对视觉内容的解读能力。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250
1/8