Deskripsi
Graph Neural PDEs adalah repositori GitHub yang dikembangkan oleh twitter-research, menawarkan kode sumber untuk publikasi mereka GRAND (Graph Neural Diffusion) dan BLEND (Beltrami Flow and Neural Diffusion on Graphs). Model-model ini mengkonseptualisasikan deep learning pada graf sebagai proses difusi kontinu, dengan Graph Neural Networks (GNNs) berfungsi sebagai diskretisasi dari Partial Differential Equations (PDEs) yang mendasarinya.
Baca Selengkapnya
Inovasi inti terletak pada bagaimana struktur lapisan dan topologi GNN dipetakan ke pilihan diskretisasi operator temporal dan spasial. Pengembangan yang berprinsip ini menghasilkan kelas GNN baru yang dirancang untuk mengatasi masalah umum dalam pembelajaran graf, seperti keterbatasan kedalaman, oversmoothing, dan bottleneck. Aspek kunci dari model-model ini adalah stabilitasnya terhadap gangguan data, yang ditangani melalui skema diskretisasi implisit dan eksplisit.
Repositori ini mencakup implementasi untuk versi linear dan nonlinear dari GRAND, yang telah menunjukkan kinerja kompetitif pada berbagai benchmark graf standar. BLEND memperluas GRAND dengan beroperasi di ruang non-Euclidean, secara bersamaan mengembangkan fitur node dan pengodean posisi. Ini memberikan metode yang kuat untuk rewiring graf. Proyek ini juga merinci persyaratan dan perintah untuk menyiapkan dependensi yang diperlukan, terutama berfokus pada PyTorch dan pustaka terkaitnya, dan menawarkan saran pemecahan masalah untuk masalah instalasi umum, terutama yang berkaitan dengan ketidakcocokan versi CUDA.
Bagi pengguna yang tertarik untuk menjalankan eksperimen, repositori menguraikan langkah-langkah dataset dan pra-pemrosesan untuk GRAND dan BLEND. Ini menentukan pembuatan folder `./data` untuk dataset dan, untuk BLEND, folder tambahan `./data/pos_encodings` untuk pengodean posisi. Instruksi diberikan untuk menjalankan eksperimen pada dataset seperti Cora, Citeseer, Computers, Photo, dan ogbn-arxiv, bersama dengan panduan untuk menghasilkan atau mengunduh pengodean posisi.
Proyek ini mendorong kontribusi dan melaporkan masalah keamanan melalui program bug-bounty Twitter. Proyek ini dilisensikan di bawah lisensi Apache-2.0, membuatnya tersedia secara bebas untuk digunakan dan dimodifikasi. Repositori ini juga mencakup kutipan untuk makalah GRAND dan BLEND, memungkinkan para peneliti untuk merujuk pada karya dasar.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti Graph Neural PDEs
Implementasi model GRAND (Graph Neural Diffusion)
Implementasi model BLEND (Beltrami Flow and Neural Diffusion on Graphs)
Memperlakukan deep learning pada graf sebagai proses difusi kontinu
Memodelkan GNN sebagai diskretisasi PDEs yang mendasarinya
Mengatasi tantangan pembelajaran graf seperti oversmoothing dan keterbatasan kedalaman
Memberikan stabilitas terhadap gangguan data
Mencakup versi linear dan nonlinear dari GRAND
BLEND menawarkan ekstensi non-Euclidean untuk rewiring graf
Instruksi instalasi terperinci untuk dependensi (PyTorch, dll.)
Panduan untuk persiapan dataset dan pengodean posisi
Skrip untuk menjalankan eksperimen pada dataset benchmark
Pemecahan masalah untuk masalah instalasi dependensi
Lisensi Apache-2.0
Memulai dengan Graph Neural PDEs
Siapkan lingkungan: Buat dan aktifkan lingkungan conda dengan versi Python yang ditentukan.
Instal dependensi: Gunakan pip untuk menginstal pustaka yang diperlukan termasuk PyTorch, PyTorch Geometric, dan lainnya.
Siapkan data: Buat folder `./data` untuk dataset dan `./data/pos_encodings` untuk BLEND.
Hasilkan pengodean posisi: Gunakan skrip yang disediakan atau unduh pengodean yang sudah dihitung sebelumnya jika diperlukan untuk BLEND.
Jalankan eksperimen: Navigasikan ke direktori `src` dan jalankan `run_GNN.py` dengan parameter dataset.
Pemecahan masalah instalasi: Verifikasi versi CUDA dan PyTorch jika mengalami kesalahan instalasi.
Kasus Penggunaan Graph Neural PDEs
- Penelitian Graph Neural Network
- Klasifikasi Node
- Rewiring Graf
- Mengatasi Oversmoothing
- Benchmarking Model GNN
- Pembelajaran Graf Kontinu
