Graph Attention Networks

Основная инновация GATs заключается в использовании маскированных слоев самовнимания, вдохновленных архитектурой Transformer. Этот подход позволяет сети присваивать различные веса важности разным соседям узла, что является критически важной возможностью для принципиального агрегирования информации по произвольным графовым структурам. В отличие от предыдущих методов графовой свертки, которые часто требуют явного определения важности соседей или компромисса с желаемыми свойствами, GATs неявно определяют эти веса посредством механизма внимания. Этот механизм вычисляет ненормализованные коэффициенты на основе признаков узлов, а затем нормализует их с помощью softmax, обеспечивая сопоставимость между различными соседствами.

Ключевые желаемые свойства для операторов графовой свертки включают вычислительную и пространственную эффективность (O(V+E)), фиксированное количество параметров, локализацию в локальных соседствах, возможность задавать произвольные веса важности соседей и применимость к индуктивным задачам (невиданные графовые структуры). GATs удовлетворяют всем этим свойствам. Механизм самовнимания параллелизуется по ребрам и узлам, что делает его вычислительно эффективным. Требования к хранению также эффективны, используя операции разреженных матриц. Параметры модели фиксированы и не зависят от размера графа, она естественным образом работает в локальных соседствах, а ее общий механизм для каждого ребра делает ее легко применимой к задачам индуктивного обучения.

Для дальнейшей стабилизации процесса обучения и повышения производительности GATs используют многоголовое внимание, многократно повторяя слой с различными параметрами и агрегируя выходные данные. Методы регуляризации, такие как dropout, применяемые к коэффициентам внимания, также оказываются полезными, особенно для небольших наборов данных, подвергая узлы стохастически выборным соседствам во время обучения. Эти теоретические преимущества были подтверждены соответствием или превосходством над лучшими показателями на нескольких сложных бенчмарках классификации узлов, включая Cora, Citeseer, PubMed и PPI.

Влияние GATs выходит за рамки академических бенчмарков, находя применение в таких областях, как сегментация коры головного мозга на основе сетки с использованием данных функциональной МРТ и предсказание нейронных паратопов для разработки антител. Эти приложения демонстрируют способность GATs более эффективно использовать лежащие в основе графовые структуры по сравнению с предыдущими подходами, что приводит к улучшению принятия решений и новым выводам. Фреймворк также адаптивен, с расширениями, такими как EAGCN, обрабатывающими взвешенные или многотипные ребра, и дальнейшими исследованиями, изучающими его использование в комбинаторной оптимизации и классификации изображений.