설명
Vision GNN (ViG)는 Graph Neural Network(GNN)를 컴퓨터 비전 작업에 적용하는 데 있어 중요한 발전을 나타냅니다. Huawei Noah's Ark Lab에서 개발한 이 프로젝트는 ViG 및 Pyramid ViG 아키텍처에 중점을 둔 효율적인 AI 백본의 PyTorch 구현을 제공합니다. 이러한 모델은 이미지를 노드의 그래프로 취급하여 특징 추출 및 표현 학습에 대한 새로운 접근 방식을 가능하게 합니다.
더 읽기
이 프로젝트에는 ViG-Ti, ViG-S, ViG-B, Pyramid ViG-Ti, Pyramid ViG-S, Pyramid ViG-M, Pyramid ViG-B와 같은 다양한 ViG 구성에 대한 사전 학습된 모델이 포함됩니다. 이러한 모델은 매개변수 수(M) 및 FLOPs(B)와 함께 이미지 분류 작업에서의 Top-1 정확도를 기준으로 벤치마킹됩니다. 예를 들어, ViG-Ti는 7.1M 매개변수와 1.3B FLOPs를 가지며 73.9%의 Top-1 정확도를 자랑하는 반면, Pyramid ViG-B는 82.6M 매개변수와 16.8B FLOPs를 가지며 83.7%의 Top-1 정확도를 제공합니다.
데이터 준비, 평가 및 학습에 대한 자세한 지침이 제공됩니다. 사용자는 제공된 스크립트를 사용하여 모델을 평가할 수 있으며, ImageNet과 같은 데이터셋에서 ViG 및 Pyramid ViG 모두에 대한 학습 명령이 설명되어 있습니다. 학습 명령은 학습률, 옵티마이저, 에포크 및 증강 기법과 같은 하이퍼파라미터를 지정하여 사용자 정의 및 추가 실험을 허용합니다. 리포지토리에는 사전 학습된 모델을 다운로드할 수 있는 링크도 포함되어 있으며, 일부는 액세스를 위해 특정 비밀번호가 필요합니다.
ViG는 PyTorch 1.7.0을 기반으로 구축되었으며 timm 0.3.2, torchprofile 0.0.4 및 apex와 같은 라이브러리가 필요합니다. 이 프로젝트는 deep_gcns_torch 및 timm의 코드를 부분적으로 사용했음을 인정합니다. 이 이니셔티브는 그래프 기반 표현을 활용하여 비전 모델의 경계를 넓히는 것을 목표로 하며, 다양한 컴퓨터 비전 애플리케이션에 대한 기존의 컨볼루션 신경망에 대한 강력한 대안을 제공합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
Vision GNN (ViG)의 핵심 기능
Vision GNN (ViG) 및 Pyramid ViG 아키텍처의 PyTorch 구현
다양한 ViG 구성에 대한 사전 학습된 모델 포함
모델 성능 지표 제공 (매개변수, FLOPs, Top-1 정확도)
ViG 및 Pyramid ViG 모델 학습 스크립트 제공
평가 및 학습을 위한 ImageNet 데이터셋 지원
PyTorch 1.7.0, timm 0.3.2, torchprofile 0.0.4 및 apex 필요
코드베이스는 deep_gcns_torch 및 timm를 부분적으로 활용
모델은 특징 학습을 위해 이미지를 노드의 그래프로 취급
데이터 준비 및 평가에 대한 자세한 지침 포함
일부 비밀번호 보호 기능이 있는 다운로드 가능한 사전 학습된 모델 사용 가능
Vision GNN (ViG) 시작하기
모델 액세스: GitHub 리포지토리를 로컬 머신으로 복제합니다.
환경 설정: PyTorch 1.7.0, timm, torchprofile 및 apex를 포함한 필수 라이브러리를 설치합니다.
데이터 준비: 지정된 디렉토리 구조에 따라 이미지 데이터셋(예: ImageNet)을 구성합니다.
모델 평가: `--evaluate` 플래그와 사전 학습된 가중치 경로를 사용하여 제공된 `train.py` 스크립트를 활용합니다.
모델 학습: ViG 또는 Pyramid ViG에 대한 학습 명령을 실행하고 모델, 데이터셋 및 학습 하이퍼파라미터를 지정합니다.
모델 통합: 사전 학습된 가중치를 PyTorch 모델에 로드하여 사용자 정의 작업에 대한 추론 또는 미세 조정을 수행합니다.
Vision GNN (ViG)의 사용 사례
- 이미지 분류
- 특징 추출
- 컴퓨터 비전 연구
- 모델 개발
- 전이 학습
