説明
Vision GNN (ViG) は、グラフニューラルネットワーク (GNN) をコンピュータビジョンタスクに応用する上で重要な進歩を示しています。Huawei Noah's Ark Lab によって開発されたこのプロジェクトは、ViG および Pyramid ViG アーキテクチャに焦点を当てた、効率的な AI バックボーンの PyTorch 実装を提供します。これらのモデルは画像をノードのグラフとして扱い、特徴抽出と表現学習の新しいアプローチを可能にします。
続きを読む
このプロジェクトには、ViG-Ti、ViG-S、ViG-B、Pyramid ViG-Ti、Pyramid ViG-S、Pyramid ViG-M、Pyramid ViG-B など、さまざまな ViG 設定の事前学習済みモデルが含まれています。これらのモデルは、パラメータ数 (M) および FLOPs (B) によってベンチマークされ、画像分類タスクにおける Top-1 精度も示されています。例えば、ViG-Ti は 7.1M パラメータと 1.3B FLOPs を持ち、73.9% の Top-1 精度を誇りますが、Pyramid ViG-B は 82.6M パラメータと 16.8B FLOPs を持ち、83.7% の Top-1 精度を提供します。
データ準備、評価、トレーニングの詳細な手順が提供されています。ユーザーは提供されたスクリプトを使用してモデルを評価でき、ImageNet のようなデータセットで ViG および Pyramid ViG の両方のトレーニングコマンドが概説されています。トレーニングコマンドは、学習率、オプティマイザー、エポック、および拡張技術などのハイパーパラメータを指定し、カスタマイズとさらなる実験を可能にします。リポジトリには、事前学習済みモデルをダウンロードするためのリンクも含まれていますが、一部にはアクセスに特定のパスワードが必要です。
ViG は PyTorch 1.7.0 をベースにしており、timm 0.3.2、torchprofile 0.0.4、apex などのライブラリが必要です。このプロジェクトは、deep_gcns_torch および timm からのコードの一部を使用していることを認識しています。この取り組みは、グラフベースの表現を活用することで、ビジョンモデルの境界を押し広げ、さまざまなコンピュータビジョンアプリケーションにおいて、従来の畳み込みニューラルネットワークに代わる強力な選択肢を提供することを目的としています。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド, セルフホスト
- プラットフォームWeb
Vision GNN (ViG)の主要機能
Vision GNN (ViG) および Pyramid ViG アーキテクチャの PyTorch 実装
さまざまな ViG 設定の事前学習済みモデルを含む
モデルのパフォーマンスメトリクス (パラメータ数、FLOPs、Top-1 精度) を提供
ViG および Pyramid ViG モデルのトレーニングスクリプトを提供
評価およびトレーニングのために ImageNet データセットをサポート
PyTorch 1.7.0、timm 0.3.2、torchprofile 0.0.4、apex が必要
コードベースは deep_gcns_torch および timm を部分的に利用
モデルは特徴学習のために画像をノードのグラフとして扱う
データ準備および評価の詳細な手順を含む
パスワード保護付きでダウンロード可能な事前学習済みモデルあり
Vision GNN (ViG)をはじめる
モデルへのアクセス: GitHub リポジトリをローカルマシンにクローンします。
環境設定: PyTorch 1.7.0、timm、torchprofile、apex を含む必要なライブラリをインストールします。
データ準備: 指定されたディレクトリ構造に従って、画像データセット (例: ImageNet) を整理します。
モデル評価: `--evaluate` フラグと事前学習済みウェイトへのパスを使用して、提供された `train.py` スクリプトを利用します。
モデルトレーニング: モデル、データセット、トレーニングハイパーパラメータを指定して、ViG または Pyramid ViG のトレーニングコマンドを実行します。
モデル統合: 事前学習済みウェイトを PyTorch モデルにロードして、推論またはカスタムタスクでのファインチューニングを行います。
Vision GNN (ViG)の使用例
- 画像分類
- 特徴抽出
- コンピュータビジョン研究
- モデル開発
- 転移学習
