Упрощение сверточных графовых сетей

Описание

Этот репозиторий на GitHub содержит официальную реализацию модели Simplifying Graph Convolutional Networks (SGC), как подробно описано в статье ICML2019. SGC является усовершенствованием сверточных графовых сетей (GCN), которое упрощает архитектуру путем удаления нелинейностей и сворачивания матриц весов. Эта трансформация приводит к созданию линейной модели, которая сохраняет конкурентоспособную производительность, значительно сокращая время обучения и вычислительные ресурсы.

Реализация поддерживает различные графовые наборы данных, включая сети цитирования, такие как Cora, Citeseer и Pubmed, а также социальные сети, такие как Reddit. Для сетей цитирования модель достигает заметной точности, например, 81,0% на Cora, 71,9% на Citeseer и 78,9% на Pubmed, при времени обучения всего 0,13 секунды на GTX 1080 Ti. Для набора данных Reddit она достигает показателя F1-меры 94,9% за 2,7 секунды.

Репозиторий включает код для предварительной обработки данных, определения модели, обучения и оценки. Он также предоставляет рекомендации по настройке гиперпараметров, особенно для регуляризации весов (weight decay), с использованием таких инструментов, как hyperopt. Предлагаются практические советы, такие как нормализация признаков для достижения нулевого среднего и стандартного отклонения единицы для ускорения сходимости, что является полезной техникой для SGC и других линейных моделей.

Помимо основной реализации, репозиторий указывает на дополнительные ресурсы и эталонные реализации в популярных библиотеках, таких как Deep Graph Library (DGL), PyTorch Geometric, Spektral, StellarGraph и tf_geometric. Он также содержит ветку в стадии разработки для абляционных исследований и код для последующих задач, начиная с классификации текстов. Этот проект является ценным ресурсом для исследователей и практиков, стремящихся использовать эффективные и действенные модели графовых нейронных сетей.

Главное о Упрощение сверточных графовых сетей

• Официальная реализация статьи "Simplifying Graph Convolutional Networks" (SGC).

• Оптимизированная архитектура сверточной графовой сети (GCN).

• Удаляет нелинейности и сворачивает матрицы весов для создания линейной модели.

• Значительно сокращенное время обучения по сравнению с традиционными GCN.

• Достигает конкурентоспособной производительности на эталонных наборах данных.

• Поддерживает сети цитирования (Cora, Citeseer, Pubmed) и социальные сети (Reddit).

• Включает код для предварительной обработки данных, обучения модели и оценки.

• Предоставляет рекомендации по настройке гиперпараметров.

• Предлагает практические советы по нормализации признаков для ускорения сходимости.

• Кодовая база для последующих задач, включая классификацию текстов.

• Ссылки на реализации в популярных библиотеках GNN.

Начало работы с Упрощение сверточных графовых сетей

1. 1

   Доступ к модели: Клонируйте репозиторий GitHub.

2. 2

   Настройка окружения: Установите зависимости, выполнив `pip install -r requirements.txt`.

3. 3

   Подготовка данных: Загрузите набор данных Reddit и поместите его в каталог `data/`.

4. 4

   Обучение для сетей цитирования: Запустите `python citation.py --dataset [dataset_name] --tuned`.

5. 5

   Обучение для Reddit: Запустите `python reddit.py --inductive --test`.

6. 6

   Интеграция: Адаптируйте предоставленные скрипты для пользовательских наборов данных или последующих задач.

Варианты использования Упрощение сверточных графовых сетей

• Классификация узлов
• Классификация текстов
• Обучение признаков графа
• Эффективное обучение GNN
• Бенчмаркинг GNN

Часто задаваемые вопросы Упрощение сверточных графовых сетей

• В чем основное преимущество SGC по сравнению с традиционными GCN?

  SGC упрощает архитектуру GCN, удаляя нелинейности и сворачивая матрицы весов, что приводит к созданию линейной модели, которая обучается значительно быстрее, сохраняя при этом конкурентоспособную производительность.

• Какие наборы данных поддерживаются этой реализацией?

  Эта реализация поддерживает сети цитирования (Cora, Citeseer, Pubmed) и набор данных социальных сетей Reddit.

• Как установить зависимости для этого проекта?

  Вы можете установить необходимые зависимости, выполнив `pip install -r requirements.txt` в вашем окружении.

• Есть ли конкретная рекомендация по ускорению сходимости SGC?

  Да, репозиторий предлагает нормализовать признаки для достижения нулевого среднего и стандартного отклонения единицы, что может ускорить сходимость для SGC и других линейных моделей.

• Где я могу найти реализации SGC в других библиотеках?

  Репозиторий содержит ссылки на эталонные реализации в Deep Graph Library, PyTorch Geometric, Spektral, StellarGraph и tf_geometric.

• Включает ли этот репозиторий код для задач, выходящих за рамки классификации узлов?

  Да, есть каталог `downstream`, содержащий код для последующих задач, начиная с реализации SGC для классификации текстов.

• Каковы показатели производительности и время обучения, указанные для SGC?

  Для сетей цитирования SGC достигает точности, например, 81,0% на Cora. Для Reddit он достигает показателя F1-меры 94,9%. Время обучения заметно быстрое, часто менее секунды для сетей цитирования на GTX 1080 Ti.

• Как обрабатывается настройка гиперпараметров в этой реализации?

  В репозитории упоминается использование hyperopt для настройки гиперпараметра регуляризации весов (weight decay), с результатами, хранящимися в разделе `SGC-tuning`.

• Какова лицензия этого репозитория?

  Репозиторий выпущен под лицензией MIT.

• Могу ли я использовать эту реализацию для индуктивного обучения на наборе данных Reddit?

  Да, инструкции по использованию включают запуск `python reddit.py --inductive --test` для индуктивного обучения на наборе данных Reddit.