Réseaux d'Attention Graphique

L'innovation principale des GATs réside dans leur utilisation de couches d'auto-attention masquées, inspirées de l'architecture Transformer. Cette approche permet au réseau d'attribuer des poids d'importance différents aux différents voisins d'un nœud, une capacité cruciale pour agréger les informations de manière principielle à travers des structures graphiques arbitraires. Contrairement aux méthodes de convolution de graphes antérieures qui nécessitent souvent une définition explicite de l'importance du voisinage ou compromettent des propriétés souhaitables, les GATs définissent implicitement ces poids via un mécanisme d'attention. Ce mécanisme calcule des coefficients non normalisés basés sur les caractéristiques des nœuds, puis les normalise à l'aide de softmax, assurant la comparabilité entre différents voisinages.

Les propriétés clés souhaitables pour les opérateurs de convolution de graphes incluent l'efficacité computationnelle et de stockage (O(V+E)), un nombre fixe de paramètres, la localisation dans les voisinages locaux, la capacité de spécifier des importances arbitraires de voisins, et l'applicabilité aux problèmes inductifs (structures graphiques non vues). Les GATs satisfont toutes ces propriétés. Le mécanisme d'auto-attention est parallélisable sur les arêtes et les nœuds, ce qui le rend efficace en termes de calcul. Les exigences de stockage sont également efficaces, utilisant des opérations de matrices creuses. Les paramètres du modèle sont fixes et indépendants de la taille du graphe, il opère naturellement sur les voisinages locaux, et son mécanisme partagé par arête le rend facilement applicable aux tâches d'apprentissage inductif.

Pour stabiliser davantage le processus d'apprentissage et améliorer les performances, les GATs emploient une attention multi-têtes, répliquant la couche plusieurs fois avec des paramètres différents et agrégeant les sorties. Des techniques de régularisation comme le dropout appliqué aux coefficients d'attention s'avèrent également bénéfiques, en particulier pour les petits ensembles de données, en exposant les nœuds à des voisinages stochastiquement échantillonnés pendant l'entraînement. Ces avantages théoriques ont été validés en égalant ou dépassant les performances de pointe sur plusieurs benchmarks difficiles de classification de nœuds, notamment Cora, Citeseer, PubMed et PPI.

L'impact des GATs s'étend au-delà des benchmarks académiques, avec des applications dans des domaines tels que la parcellisation basée sur des maillages du cortex cérébral à l'aide de données d'IRM fonctionnelle et la prédiction de paratopes neuronaux pour la conception d'anticorps. Ces applications démontrent la capacité des GATs à exploiter les structures graphiques sous-jacentes plus efficacement que les approches antérieures, conduisant à une prise de décision améliorée et à de nouvelles perspectives. Le cadre est également adaptable, avec des extensions comme EAGCN gérant les arêtes pondérées ou multi-types, et des recherches supplémentaires explorant son utilisation dans l'optimisation combinatoire et la classification d'images.