Vision Transformer

描述

这个 GitHub 仓库 `google-research/vision_transformer` 为计算机视觉中的 Vision Transformer (ViT) 和 MLP-Mixer 架构提供了全面的资源集合。它作为源自几篇关键研究论文（包括“An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale”和“MLP-Mixer: An all-MLP Architecture for Vision.”）的模型和代码的中心枢纽。

该仓库提供了在 ImageNet 和 ImageNet-21k 等大规模数据集上训练的预训练模型。这些模型可供下载，并可针对特定的下游任务进行微调。代码主要使用 JAX 和 Flax 编写，为在该生态系统中工作的研究人员和开发人员提供了灵活性。

关键功能包括在自定义数据集上微调模型的能力，并提供了 CIFAR-10 和 CIFAR-100 等常见数据集的示例。该仓库还详细介绍了如何在 Google Cloud 上设置带有 GPU 或 TPU 的虚拟机以进行更广泛的训练和实验。此外，它还包括用于探索“How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers”论文中超过 50,000 个检查点的资源，使用户能够根据特定的性能指标选择和微调模型。

该仓库的目标受众包括对利用最先进的基于 Transformer 的模型进行图像识别、分类和其他视觉任务感兴趣的 AI 研究人员、机器学习工程师和计算机视觉从业人员。其价值主张在于提供易于访问、文档齐全的代码和预训练模型，从而加速视觉 Transformer 领域的研究和开发。

除了 ViT 和 MLP-Mixer，该仓库还提供了 LiT（Locked-image text Tuning）模型的资源，支持零样本迁移能力。这扩展了该仓库在涉及图像和文本的多模态应用中的效用。该项目强调可复现性，并提供了有关安装、微调和云部署的详细说明。

Vision Transformer亮点

• Vision Transformer (ViT) 模型实现

• MLP-Mixer 架构实现

• 在 ImageNet 和 ImageNet-21k 上预训练的模型

• JAX/Flax 中的微调代码

• 支持 LiT (Locked-image text Tuning) 模型

• 用于交互式探索和微调的 Colab Notebook

• 云虚拟机设置（GPU/TPU）的详细说明

• 可访问超过 50,000 个 ViT 模型检查点

• 相关研究论文的 BibTeX 引用

• 包含仓库更新和模型添加的变更日志

• 数据增强和正则化策略的代码

Vision Transformer入门

1. 1

   访问模型：克隆 GitHub 仓库或从提供的 GCS 存储桶访问预训练模型。

2. 2

   设置环境：根据您的硬件（GPU/TPU）安装 JAX、Python 依赖项和 Flaxformer。

3. 3

   配置训练：为模型架构、数据集和训练参数选择或创建配置文件。

4. 4

   微调模型：使用 JAX/Flax 代码库，通过您选择的数据集和配置执行微调脚本。

5. 5

   探索检查点：利用提供的 Colab Notebook 探索并从大量预训练检查点中进行选择。

6. 6

   云端部署：在 Google Cloud 上设置带有适当加速器（GPU/TPU）的虚拟机，以进行更大规模的训练。

Vision Transformer的使用案例

• 图像分类
• 模型微调
• 零样本迁移
• 计算机视觉研究
• 多模态 AI
• 大规模训练

Vision Transformer的常见问题

• Vision Transformer 仓库中主要提供了哪些模型？

  该仓库主要提供 Vision Transformer (ViT) 和 MLP-Mixer 架构的实现和预训练模型。它还包括 LiT (Locked-image text Tuning) 模型的资源。

• 模型在哪些数据集上进行了预训练？

  该仓库中的模型在 ImageNet 和 ImageNet-21k 数据集上进行了预训练。一些模型还利用了数据增强和正则化技术。

• 该仓库使用了哪些编程语言和框架？

  代码主要使用 Python 编写，并采用 JAX 和 Flax 框架进行深度学习。

• 我可以在自己的数据集上微调这些模型吗？

  是的，该仓库提供了在自定义数据集上微调已发布模型的代码和说明。其中包含 CIFAR-10 和 CIFAR-100 的示例。

• 如果我没有强大的本地硬件，如何运行这些模型？

  该仓库提供了关于在 Google Cloud 上设置和使用带有 GPU 或 TPU 的虚拟机进行训练和实验的详细指南。

• 什么是 LiT 模型，它们是如何支持的？

  LiT 模型通过结合图像和文本理解来实现零样本迁移。该仓库提供了有关使用这些模型的信息和 Colab Notebook。

• 在哪里可以找到 ViT 模型的预训练检查点？

  预训练检查点可在各种 GCS 存储桶中找到，该仓库提供了下载和使用它们的链接和说明。通过专门的 Colab Notebook 可以访问超过 50,000 个检查点。

• `vit_jax.ipynb` 和 `vit_jax_augreg.ipynb` Colab Notebook 的目的是什么？

  `vit_jax.ipynb` Notebook 演示了用于 Vision Transformer 和 MLP-Mixer 的 JAX 代码。`vit_jax_augreg.ipynb` Notebook 允许探索与 ViT 中的数据增强和正则化相关的超过 50,000 个检查点。

• 是否支持多模态任务？

  是的，该仓库包括 LiT 模型的资源，这些模型专为涉及图像和文本理解的多模态任务而设计。

• 代码和模型的许可条款是什么？

  该仓库根据 Apache-2.0 许可发布，并被标记为由 Andreas Steiner 准备的开源版本，该版本是从 `google-research/big_transfer` 分叉而来。