Description
Vision GNN (ViG) représente une avancée significative dans l'application des Graph Neural Networks (GNN) aux tâches de vision par ordinateur. Développé par Huawei Noah's Ark Lab, ce projet fournit des implémentations PyTorch de backbones IA efficaces, axées sur les architectures ViG et Pyramid ViG. Ces modèles traitent les images comme des graphes de nœuds, permettant de nouvelles approches pour l'extraction de caractéristiques et l'apprentissage de représentations.
Lire la suite
Le projet inclut des modèles pré-entraînés pour diverses configurations de ViG, telles que ViG-Ti, ViG-S, ViG-B, Pyramid ViG-Ti, Pyramid ViG-S, Pyramid ViG-M et Pyramid ViG-B. Ces modèles sont évalués par leur nombre de paramètres (M) et leurs FLOPs (B), ainsi que par leur précision Top-1 sur les tâches de classification d'images. Par exemple, ViG-Ti dispose de 7,1M de paramètres et 1,3B de FLOPs avec une précision Top-1 de 73,9%, tandis que Pyramid ViG-B offre 82,6M de paramètres et 16,8B de FLOPs avec une précision Top-1 de 83,7%.
Des instructions détaillées sont fournies pour la préparation des données, l'évaluation et l'entraînement. Les utilisateurs peuvent évaluer les modèles à l'aide des scripts fournis, et les commandes d'entraînement sont décrites pour ViG et Pyramid ViG sur des jeux de données comme ImageNet. Les commandes d'entraînement spécifient des hyperparamètres tels que le taux d'apprentissage, l'optimiseur, le nombre d'époques et les techniques d'augmentation, permettant la personnalisation et des expérimentations supplémentaires. Le dépôt inclut également des liens pour télécharger des modèles pré-entraînés, certains nécessitant des mots de passe spécifiques pour l'accès.
ViG est basé sur PyTorch 1.7.0 et nécessite des bibliothèques comme timm 0.3.2, torchprofile 0.0.4 et apex. Le projet reconnaît l'utilisation partielle de code provenant de deep_gcns_torch et timm. Cette initiative vise à repousser les limites des modèles de vision en exploitant les représentations basées sur les graphes, offrant une alternative puissante aux réseaux de neurones convolutifs traditionnels pour une gamme d'applications de vision par ordinateur.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Fonctionnalités principales de Vision GNN (ViG)
Implémentation PyTorch des architectures Vision GNN (ViG) et Pyramid ViG
Inclut des modèles pré-entraînés pour diverses configurations ViG
Fournit des métriques de performance des modèles (Paramètres, FLOPs, Précision Top-1)
Propose des scripts d'entraînement pour les modèles ViG et Pyramid ViG
Prend en charge le jeu de données ImageNet pour l'évaluation et l'entraînement
Nécessite PyTorch 1.7.0, timm 0.3.2, torchprofile 0.0.4 et apex
La base de code utilise partiellement deep_gcns_torch et timm
Les modèles traitent les images comme des graphes de nœuds pour l'apprentissage de caractéristiques
Inclut des instructions détaillées pour la préparation des données et l'évaluation
Modèles pré-entraînés téléchargeables disponibles avec une certaine protection par mot de passe
Premiers pas avec Vision GNN (ViG)
Accéder au Modèle : Clonez le dépôt GitHub sur votre machine locale.
Configurer l'Environnement : Installez les bibliothèques requises, y compris PyTorch 1.7.0, timm, torchprofile et apex.
Préparer les Données : Organisez votre jeu de données d'images (par exemple, ImageNet) selon la structure de répertoire spécifiée.
Évaluer le Modèle : Utilisez le script `train.py` fourni avec le drapeau `--evaluate` et le chemin vers les poids pré-entraînés.
Entraîner le Modèle : Exécutez les commandes d'entraînement pour ViG ou Pyramid ViG, en spécifiant le modèle, le jeu de données et les hyperparamètres d'entraînement.
Intégrer le Modèle : Chargez les poids pré-entraînés dans votre modèle PyTorch pour l'inférence ou le fine-tuning sur des tâches personnalisées.
Cas d'utilisation de Vision GNN (ViG)
- Classification d'Images
- Extraction de Caractéristiques
- Recherche en Vision par Ordinateur
- Développement de Modèles
- Apprentissage par Transfert
