Vision Transformer

설명

이 GitHub 리포지토리인 `google-research/vision_transformer`는 컴퓨터 비전에서 Vision Transformer (ViT) 및 MLP-Mixer 아키텍처를 다루기 위한 포괄적인 리소스 모음을 제공합니다. "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale" 및 "MLP-Mixer: An all-MLP Architecture for Vision"을 포함한 여러 주요 연구 논문에서 파생된 모델 및 코드의 중앙 허브 역할을 합니다.

이 리포지토리는 ImageNet 및 ImageNet-21k와 같은 대규모 데이터셋으로 학습된 사전 학습 모델을 제공합니다. 이러한 모델은 다운로드하여 특정 다운스트림 작업에 파인튜닝할 수 있습니다. 코드는 주로 JAX 및 Flax로 작성되어 이 생태계 내에서 작업하는 연구원 및 개발자에게 유연성을 제공합니다.

주요 기능에는 사용자 지정 데이터셋에서 모델을 파인튜닝하는 기능이 포함되며, CIFAR-10 및 CIFAR-100과 같은 일반적인 데이터셋에 대한 예제가 제공됩니다. 또한 이 리포지토리는 Google Cloud에서 GPU 또는 TPU를 사용하여 가상 머신을 설정하는 방법에 대해 자세히 설명하여 더 광범위한 학습 및 실험을 지원합니다. 또한 "How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers" 논문의 50,000개 이상의 체크포인트를 탐색하기 위한 리소스를 포함하여 사용자가 특정 성능 지표를 기반으로 모델을 선택하고 파인튜닝할 수 있도록 합니다.

이 리포지토리의 대상 고객에는 이미지 인식, 분류 및 기타 시각적 작업에 최첨단 트랜스포머 기반 모델을 활용하는 데 관심이 있는 AI 연구원, 머신러닝 엔지니어 및 컴퓨터 비전 실무자가 포함됩니다. 가치 제안은 비전 트랜스포머 분야의 연구 및 개발을 가속화하는 접근 가능하고 잘 문서화된 코드 및 사전 학습 모델을 제공하는 데 있습니다.

ViT 및 MLP-Mixer 외에도 이 리포지토리는 LiT(Locked-image text Tuning) 모델에 대한 리소스를 제공하여 제로샷 전이 기능을 지원합니다. 이를 통해 이미지와 텍스트를 모두 포함하는 멀티모달 애플리케이션으로 리포지토리의 유용성을 확장할 수 있습니다. 이 프로젝트는 재현성을 강조하며 설치, 파인튜닝 및 클라우드 배포에 대한 자세한 지침을 제공합니다.

Vision Transformer 하이라이트

• Vision Transformer (ViT) 모델 구현

• MLP-Mixer 아키텍처 구현

• ImageNet 및 ImageNet-21k에서 사전 학습된 모델

• JAX/Flax에서의 파인튜닝 코드

• LiT (Locked-image text Tuning) 모델 지원

• 대화형 탐색 및 파인튜닝을 위한 Colab 노트북

• 클라우드 VM 설정(GPU/TPU)에 대한 자세한 지침

• ViT 모델을 위한 50,000개 이상의 체크포인트 액세스

• 관련 연구 논문에 대한 BibTeX 인용

• 리포지토리 업데이트 및 모델 추가를 상세히 설명하는 변경 로그

• 데이터 증강 및 정규화 전략을 위한 코드

Vision Transformer 시작하기

1. 1

   모델 액세스: GitHub 리포지토리를 클론하거나 제공된 GCS 버킷에서 사전 학습된 모델에 액세스합니다.

2. 2

   환경 설정: 하드웨어(GPU/TPU)에 따라 JAX, Python 종속성 및 Flaxformer를 설치합니다.

3. 3

   학습 구성: 모델 아키텍처, 데이터셋 및 학습 매개변수에 대한 구성 파일을 선택하거나 생성합니다.

4. 4

   모델 파인튜닝: 선택한 데이터셋 및 구성으로 JAX/Flax 코드베이스를 사용하여 파인튜닝 스크립트를 실행합니다.

5. 5

   체크포인트 탐색: 제공된 Colab 노트북을 사용하여 사전 학습된 체크포인트의 대규모 컬렉션을 탐색하고 선택합니다.

6. 6

   클라우드 배포: 대규모 학습을 위해 적절한 가속기(GPU/TPU)를 갖춘 Google Cloud의 가상 머신을 설정합니다.

Vision Transformer의 사용 사례

• 이미지 분류
• 모델 파인튜닝
• 제로샷 전이
• 컴퓨터 비전 연구
• 멀티모달 AI
• 대규모 학습

Vision Transformer의 FAQ

• Vision Transformer 리포지토리에서 제공되는 주요 모델은 무엇인가요?

  이 리포지토리는 주로 Vision Transformer (ViT) 및 MLP-Mixer 아키텍처의 구현 및 사전 학습 모델을 제공합니다. 또한 LiT(Locked-image text Tuning) 모델에 대한 리소스도 포함합니다.

• 모델은 어떤 데이터셋으로 사전 학습되었나요?

  이 리포지토리의 모델은 ImageNet 및 ImageNet-21k 데이터셋으로 사전 학습되었습니다. 일부 모델은 증강 및 정규화 기법을 활용하기도 합니다.

• 이 리포지토리에는 어떤 프로그래밍 언어와 프레임워크가 사용되었나요?

  코드는 주로 Python으로 작성되었으며 딥러닝을 위해 JAX 및 Flax 프레임워크를 사용합니다.

• 이 모델들을 제 자체 데이터셋으로 파인튜닝할 수 있나요?

  예, 이 리포지토리는 릴리스된 모델을 사용자 지정 데이터셋으로 파인튜닝하기 위한 코드와 지침을 제공합니다. CIFAR-10 및 CIFAR-100에 대한 예제가 포함되어 있습니다.

• 로컬에 강력한 하드웨어가 없는 경우 이 모델을 어떻게 실행할 수 있나요?

  이 리포지토리는 학습 및 실험을 위해 Google Cloud에서 GPU 또는 TPU를 사용하는 가상 머신을 설정하고 사용하는 방법에 대한 자세한 지침을 제공합니다.

• LiT 모델이란 무엇이며 어떻게 지원되나요?

  LiT 모델은 이미지와 텍스트 이해를 결합하여 제로샷 전이를 가능하게 합니다. 이 리포지토리는 이러한 모델을 사용하기 위한 정보와 Colab 노트북을 제공합니다.

• ViT 모델의 사전 학습된 체크포인트는 어디에서 찾을 수 있나요?

  사전 학습된 체크포인트는 다양한 GCS 버킷에서 사용할 수 있으며, 리포지토리는 다운로드 및 사용 방법에 대한 링크와 지침을 제공합니다. 50,000개 이상의 체크포인트는 전용 Colab 노트북을 통해 액세스할 수 있습니다.

• `vit_jax.ipynb` 및 `vit_jax_augreg.ipynb` Colab 노트북의 목적은 무엇인가요?

  `vit_jax.ipynb` 노트북은 Vision Transformer 및 MLP-Mixer에 대한 JAX 코드를 시연합니다. `vit_jax_augreg.ipynb` 노트북은 ViT의 데이터 증강 및 정규화와 관련된 50,000개 이상의 체크포인트를 탐색할 수 있도록 합니다.

• 멀티모달 작업에 대한 지원이 있나요?

  예, 이 리포지토리는 이미지와 텍스트 이해를 모두 포함하는 멀티모달 작업을 위해 설계된 LiT 모델에 대한 리소스를 포함합니다.

• 코드 및 모델의 라이선스 조건은 무엇인가요?

  이 리포지토리는 Apache-2.0 라이선스로 릴리스되었으며, Andreas Steiner가 작성하고 `google-research/big_transfer`에서 포크된 오픈 소스 릴리스로 명시되어 있습니다.