GraphSAINT

Точность повышается за счет простых, но эффективных методов нормализации, которые снижают смещение, вносимое сэмплированием графов. Кроме того, GraphSAINT предлагает легковесные сэмплеры графов, которые сохраняют важные соседние узлы на основе топологических характеристик, решая проблему потери информации, присущую любому процессу сэмплирования. Это также можно рассматривать как форму аугментации данных или регуляризации обучения.

Эффективность значительно повышается за счет решения проблемы «взрыва соседей», распространенной проблемы в методах сэмплирования слоев. Создавая полные, не сэмплированные слои GNN на подграфах, количество соседей остается постоянным независимо от глубины сети, снижая вычислительные затраты на мини-батч с экспоненциальной до линейной зависимости от глубины GNN. Это также значительно снижает накладные расходы на связь в распределенных средах.

Гибкость — основной принцип GraphSAINT. Распространение слоев на мини-батчевом подграфе тесно отражает распространение на полном графе, что позволяет беспрепятственно обучать большинство архитектур GNN, разработанных для полных графов. Это контрастирует с некоторыми алгоритмами сэмплирования слоев, которые поддерживают только ограниченные архитектуры GNN. Масштабируемость достигается по размеру графа, размеру модели и параллельным ресурсам. Размеры подграфов не должны расти пропорционально размеру графа, что позволяет большим графам помещаться в память GPU. Затраты на обучение масштабируются линейно с шириной и глубиной GNN, а сэмплирование графов хорошо параллелизуется.

Репозиторий предоставляет реализации на Python как в TensorFlow, так и в PyTorch, а также реализацию на C++ для методов параллельного обучения. Он поддерживает различные архитектуры GNN, такие как GraphSAGE, GAT и JK-Net, а также несколько сэмплеров графов, включая Node, Edge, RW и MRW. Структура предназначена для исследователей и практиков, работающих с большими графовыми наборами данных, которым требуется эффективное и точное обучение GNN.