描述
Vision GNN (ViG) 代表了图神经网络 (GNN) 在计算机视觉任务应用中的一项重大进展。该项目由华为诺亚方舟实验室开发，提供了高效 AI 主干网络的 PyTorch 实现，重点关注 ViG 和 Pyramid ViG 架构。这些模型将图像视为节点图，从而实现了新颖的特征提取和表示学习方法。
阅读更多
该项目包括各种 ViG 配置的预训练模型，例如 ViG-Ti、ViG-S、ViG-B、Pyramid ViG-Ti、Pyramid ViG-S、Pyramid ViG-M 和 Pyramid ViG-B。这些模型的性能通过其参数量 (M) 和 FLOPs (B) 以及在图像分类任务上的 Top-1 准确率进行基准测试。例如，ViG-Ti 拥有 7.1M 参数和 1.3B FLOPs，Top-1 准确率为 73.9%，而 Pyramid ViG-B 提供 82.6M 参数和 16.8B FLOPs，Top-1 准确率为 83.7%。
提供了数据准备、评估和训练的详细说明。用户可以使用提供的脚本评估模型，并概述了在 ImageNet 等数据集上训练 ViG 和 Pyramid ViG 的命令。训练命令指定了学习率、优化器、训练轮数和增强技术等超参数，允许进行定制和进一步的实验。该存储库还包含下载预训练模型的链接，其中一些需要特定的密码才能访问。
ViG 基于 PyTorch 1.7.0 构建，需要 timm 0.3.2、torchprofile 0.0.4 和 apex 等库。该项目承认部分使用了来自 deep_gcns_torch 和 timm 的代码。该计划旨在通过利用基于图的表示来突破视觉模型的界限，为一系列计算机视觉应用提供传统卷积神经网络的强大替代方案。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端, 自托管
- 平台网页版
Vision GNN (ViG)的核心功能
Vision GNN (ViG) 和 Pyramid ViG 架构的 PyTorch 实现
包含各种 ViG 配置的预训练模型
提供模型性能指标（参数、FLOPs、Top-1 准确率）
提供 ViG 和 Pyramid ViG 模型的训练脚本
支持 ImageNet 数据集进行评估和训练
需要 PyTorch 1.7.0、timm 0.3.2、torchprofile 0.0.4 和 apex
代码库部分使用了 deep_gcns_torch 和 timm
模型将图像视为节点图以进行特征学习
包含数据准备和评估的详细说明
提供可下载的预训练模型，部分需要密码保护
Vision GNN (ViG)入门
访问模型：将 GitHub 存储库克隆到本地机器。
设置环境：安装所需的库，包括 PyTorch 1.7.0、timm、torchprofile 和 apex。
准备数据：根据指定的目录结构组织图像数据集（例如 ImageNet）。
评估模型：使用提供的 `train.py` 脚本，并带上 `--evaluate` 标志和预训练权重路径。
训练模型：执行 ViG 或 Pyramid ViG 的训练命令，指定模型、数据集和训练超参数。
集成模型：将预训练权重加载到您的 PyTorch 模型中，用于推理或在自定义任务上进行微调。
Vision GNN (ViG)的使用案例
- 图像分类
- 特征提取
- 计算机视觉研究
- 模型开发
- 迁移学习
