Описание
Graph Neural PDEs — это репозиторий на GitHub, разработанный twitter-research, который предоставляет исходный код для их публикаций GRAND (Graph Neural Diffusion) и BLEND (Beltrami Flow and Neural Diffusion on Graphs). Эти модели концептуализируют глубокое обучение на графах как непрерывный диффузионный процесс, где графовые нейронные сети (GNN) служат дискретизациями лежащих в основе дифференциальных уравнений в частных производных (PDE).
Читать далее
Основное новшество заключается в том, как структура слоев и топология GNN отображаются на выбор дискретизации временных и пространственных операторов. Эта принципиальная разработка приводит к новому классу GNN, разработанному для преодоления распространенных проблем в обучении на графах, таких как ограничения по глубине, чрезмерное сглаживание и узкие места. Ключевым аспектом этих моделей является их стабильность по отношению к возмущениям данных, которая достигается как с помощью неявных, так и явных схем дискретизации.
Репозиторий включает реализации линейных и нелинейных версий GRAND, которые продемонстрировали конкурентоспособную производительность на различных стандартных графовых бенчмарках. BLEND расширяет GRAND, работая в неевклидовом пространстве, совместно эволюционируя признаковые и позиционные кодировки узлов. Это обеспечивает надежный метод для перестройки графов. Проект также подробно описывает требования и команды для настройки необходимых зависимостей, в первую очередь фокусируясь на PyTorch и связанных с ним библиотеках, и предлагает советы по устранению неполадок для распространенных проблем установки, особенно связанных с несоответствием версий CUDA.
Для пользователей, заинтересованных в запуске экспериментов, репозиторий описывает этапы подготовки данных и предварительной обработки как для GRAND, так и для BLEND. Он указывает на создание папки `./data` для наборов данных и, для BLEND, дополнительной папки `./data/pos_encodings` для позиционных кодировок. Предоставляются инструкции по запуску экспериментов на таких наборах данных, как Cora, Citeseer, Computers, Photo и ogbn-arxiv, а также руководство по генерации или загрузке позиционных кодировок.
Проект приветствует вклад и сообщения о проблемах безопасности через программу bug-bounty Twitter. Он лицензирован под лицензией Apache-2.0, что делает его свободно доступным для использования и модификации. Репозиторий также включает цитаты для статей GRAND и BLEND, позволяя исследователям ссылаться на основополагающие работы.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Основные функции Graph Neural PDEs
Реализация модели GRAND (Graph Neural Diffusion)
Реализация модели BLEND (Beltrami Flow and Neural Diffusion on Graphs)
Рассматривает глубокое обучение на графах как непрерывный диффузионный процесс
Моделирует GNN как дискретизации лежащих в основе PDE
Решает проблемы обучения на графах, такие как чрезмерное сглаживание и ограничения по глубине
Обеспечивает стабильность по отношению к возмущениям данных
Включает линейные и нелинейные версии GRAND
BLEND предлагает неевклидово расширение для перестройки графов
Подробные инструкции по установке зависимостей (PyTorch и т. д.)
Руководство по подготовке данных и позиционных кодировок
Скрипты для запуска экспериментов на эталонных наборах данных
Устранение неполадок при установке зависимостей
Лицензия Apache-2.0
Начало работы с Graph Neural PDEs
Настройка среды: Создайте и активируйте среду conda с указанной версией Python.
Установка зависимостей: Используйте pip для установки необходимых библиотек, включая PyTorch, PyTorch Geometric и другие.
Подготовка данных: Создайте папку `./data` для наборов данных и `./data/pos_encodings` для BLEND.
Генерация позиционных кодировок: Используйте предоставленные скрипты или загрузите предварительно вычисленные кодировки, если они необходимы для BLEND.
Запуск экспериментов: Перейдите в каталог `src` и выполните `run_GNN.py` с параметрами набора данных.
Устранение неполадок при установке: Проверьте версии CUDA и PyTorch, если возникают ошибки при установке.
Варианты использования Graph Neural PDEs
- Исследование графовых нейронных сетей
- Классификация узлов
- Перестройка графов
- Решение проблемы чрезмерного сглаживания
- Бенчмаркинг моделей GNN
- Непрерывное обучение на графах
