Vision Transformer

説明

この GitHub リポジトリ `google-research/vision_transformer` は、コンピュータビジョンにおける Vision Transformer (ViT) および MLP-Mixer アーキテクチャを扱うための包括的なリソース集を提供します。「An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale」や「MLP-Mixer: An all-MLP Architecture for Vision」などの主要な研究論文から派生したモデルとコードの中央ハブとして機能します。

このリポジトリは、ImageNet および ImageNet-21k のような大規模データセットで学習された事前学習済みモデルを提供します。これらのモデルはダウンロード可能であり、特定のダウンストリームタスクに合わせてファインチューニングできます。コードは主に JAX および Flax で記述されており、このエコシステム内で作業する研究者や開発者に柔軟性を提供します。

主な機能には、カスタムデータセットでのモデルのファインチューニング能力が含まれており、CIFAR-10 や CIFAR-100 のような一般的なデータセットの例が提供されています。また、このリポジトリでは、Google Cloud 上で GPU または TPU を備えた仮想マシンをセットアップして、より広範なトレーニングと実験を行う方法についても詳述しています。さらに、「How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers」論文からの 50,000 を超えるチェックポイントを探索するためのリソースも含まれており、ユーザーは特定のパフォーマンスメトリックに基づいてモデルを選択し、ファインチューニングできます。

このリポジトリの対象読者には、画像認識、分類、その他の視覚タスクに最先端のトランスフォーマーベースのモデルを活用することに関心のある AI 研究者、機械学習エンジニア、コンピュータビジョン実務家が含まれます。その価値提案は、アクセシブルで十分に文書化されたコードと事前学習済みモデルを提供し、ビジョン トランスフォーマー分野の研究開発を加速することにあります。

ViT および MLP-Mixer に加えて、このリポジトリは LiT (Locked-image text Tuning) モデルのリソースも提供しており、ゼロショット転送機能を可能にします。これにより、画像とテキストの両方を含むマルチモーダルアプリケーションへのリポジトリの有用性が拡張されます。このプロジェクトは再現性を重視しており、インストール、ファインチューニング、クラウドデプロイメントに関する詳細な手順を提供しています。

Vision Transformerのハイライト

• Vision Transformer (ViT) モデルの実装

• MLP-Mixer アーキテクチャの実装

• ImageNet および ImageNet-21k での事前学習済みモデル

• JAX/Flax でのファインチューニングコード

• LiT (Locked-image text Tuning) モデルのサポート

• インタラクティブな探索とファインチューニングのための Colab ノートブック

• クラウド VM セットアップ (GPU/TPU) の詳細な手順

• ViT モデル用の 50,000 を超えるチェックポイントへのアクセス

• 関連研究論文の BibTeX 引用

• リポジトリの更新とモデル追加の詳細な変更履歴

• データ拡張および正則化戦略用のコード

Vision Transformerをはじめる

1. 1

   モデルへのアクセス: GitHub リポジトリをクローンするか、提供されている GCS バケットから事前学習済みモデルにアクセスします。

2. 2

   環境のセットアップ: ハードウェア (GPU/TPU) に基づいて、JAX、Python 依存関係、および Flaxformer をインストールします。

3. 3

   トレーニングの設定: モデルアーキテクチャ、データセット、トレーニングパラメータの構成ファイルを選択または作成します。

4. 4

   モデルのファインチューニング: 選択したデータセットと構成を使用して、JAX/Flax コードベースでファインチューニングスクリプトを実行します。

5. 5

   チェックポイントの探索: 提供されている Colab ノートブックを使用して、大量の事前学習済みチェックポイントを探索および選択します。

6. 6

   クラウドでのデプロイ: より大規模なトレーニングのために、適切なアクセラレータ (GPU/TPU) を備えた Google Cloud 上の仮想マシンをセットアップします。

Vision Transformerの使用例

• 画像分類
• モデルのファインチューニング
• ゼロショット転送
• コンピュータビジョン研究
• マルチモーダル AI
• 大規模トレーニング

Vision TransformerのFAQ

• Vision Transformer リポジトリで利用可能な主なモデルは何ですか？

  このリポジトリは主に、Vision Transformer (ViT) および MLP-Mixer アーキテクチャの実装と事前学習済みモデルを提供しています。また、LiT (Locked-image text Tuning) モデルのリソースも含まれています。

• モデルはどのデータセットで事前学習されましたか？

  このリポジトリのモデルは、ImageNet および ImageNet-21k データセットで事前学習されました。一部のモデルは、データ拡張および正則化技術も利用しています。

• このリポジトリではどのプログラミング言語とフレームワークが使用されていますか？

  コードは主に Python で記述されており、ディープラーニングには JAX および Flax フレームワークが使用されています。

• これらのモデルを独自のデータセットでファインチューニングできますか？

  はい、このリポジトリは、リリースされたモデルをカスタムデータセットでファインチューニングするためのコードと手順を提供しています。CIFAR-10 および CIFAR-100 の例が含まれています。

• 強力なローカルハードウェアがない場合、これらのモデルをどのように実行できますか？

  このリポジトリは、トレーニングと実験のために Google Cloud 上の GPU または TPU を備えた仮想マシンのセットアップと使用に関する詳細なガイダンスを提供しています。

• LiT モデルとは何ですか、またどのようにサポートされていますか？

  LiT モデルは、画像とテキストの理解を組み合わせることでゼロショット転送を可能にします。このリポジトリは、これらのモデルを使用するための情報と Colab ノートブックを提供しています。

• ViT モデルの事前学習済みチェックポイントはどこで見つけられますか？

  事前学習済みチェックポイントはさまざまな GCS バケットで利用可能であり、リポジトリはそれらをダウンロードして使用する方法に関するリンクと手順を提供しています。50,000 を超えるチェックポイントが専用の Colab ノートブックを通じてアクセス可能です。

• `vit_jax.ipynb` および `vit_jax_augreg.ipynb` Colab ノートブックの目的は何ですか？

  `vit_jax.ipynb` ノートブックは、Vision Transformer および MLP-Mixer のための JAX コードを示しています。`vit_jax_augreg.ipynb` ノートブックは、ViT におけるデータ拡張と正則化に関連する 50,000 を超えるチェックポイントの探索を可能にします。

• マルチモーダルタスクのサポートはありますか？

  はい、このリポジトリには、画像とテキストの両方の理解を伴うマルチモーダルタスク向けに設計された LiT モデルのリソースが含まれています。

• コードとモデルのライセンス条件は何ですか？

  このリポジトリは Apache-2.0 ライセンスでリリースされており、Andreas Steiner によって準備されたオープンソースリリースであり、`google-research/big_transfer` からフォークされたものであることが記載されています。