Menyederhanakan Jaringan Konvolusional Graf

Deskripsi

Repositori GitHub ini menampung implementasi resmi dari model Simplifying Graph Convolutional Networks (SGC), seperti yang dirinci dalam makalah ICML2019. SGC adalah kemajuan dalam Graph Convolutional Networks (GCN) yang menyederhanakan arsitektur dengan menghilangkan non-linearitas dan meruntuhkan matriks bobot. Transformasi ini menghasilkan model linier yang mempertahankan kinerja kompetitif sambil secara drastis mengurangi waktu pelatihan dan sumber daya komputasi.

Implementasi ini mendukung berbagai dataset graf, termasuk jaringan kutipan seperti Cora, Citeseer, dan Pubmed, serta jaringan sosial seperti Reddit. Untuk jaringan kutipan, model mencapai akurasi yang patut diperhatikan, misalnya, 81,0% pada Cora, 71,9% pada Citeseer, dan 78,9% pada Pubmed, dengan waktu pelatihan serendah 0,13 detik pada GTX 1080 Ti. Untuk dataset Reddit, model ini mencapai skor F1 sebesar 94,9% dalam 2,7 detik.

Repositori ini mencakup kode untuk pra-pemrosesan data, definisi model, pelatihan, dan evaluasi. Ini juga memberikan panduan tentang penyetelan hyperparameter, terutama untuk weight decay, menggunakan alat seperti hyperopt. Saran praktis ditawarkan, seperti menormalkan fitur untuk memiliki rata-rata nol dan standar deviasi satu untuk mempercepat konvergensi, sebuah teknik yang bermanfaat untuk SGC dan model linier lainnya.

Selain implementasi inti, repositori ini menunjuk ke sumber daya tambahan dan implementasi referensi di pustaka populer seperti Deep Graph Library (DGL), PyTorch Geometric, Spektral, StellarGraph, dan tf_geometric. Ini juga menampilkan cabang yang sedang dikerjakan untuk studi ablasi dan kode untuk tugas hilir, dimulai dengan klasifikasi teks. Proyek ini adalah sumber daya yang berharga bagi para peneliti dan praktisi yang ingin memanfaatkan model jaringan saraf graf yang efisien dan efektif.

Sorotan Menyederhanakan Jaringan Konvolusional Graf

• Implementasi resmi dari makalah Simplifying Graph Convolutional Networks (SGC).

• Arsitektur Graph Convolutional Network (GCN) yang ramping.

• Menghilangkan non-linearitas dan meruntuhkan matriks bobot untuk model linier.

• Waktu pelatihan yang jauh berkurang dibandingkan dengan GCN tradisional.

• Mencapai kinerja kompetitif pada dataset benchmark.

• Mendukung jaringan kutipan (Cora, Citeseer, Pubmed) dan jaringan sosial (Reddit).

• Mencakup kode untuk pra-pemrosesan data, pelatihan model, dan evaluasi.

• Memberikan panduan tentang penyetelan hyperparameter.

• Menawarkan saran praktis tentang normalisasi fitur untuk konvergensi yang dipercepat.

• Basis kode untuk tugas hilir, termasuk klasifikasi teks.

• Referensi ke implementasi di pustaka GNN populer.

Memulai dengan Menyederhanakan Jaringan Konvolusional Graf

1. 1

   Akses model: Klon repositori GitHub.

2. 2

   Siapkan lingkungan: Instal dependensi menggunakan `pip install -r requirements.txt`.

3. 3

   Siapkan data: Unduh dataset Reddit dan letakkan di direktori `data/`.

4. 4

   Latih untuk jaringan kutipan: Jalankan `python citation.py --dataset [nama_dataset] --tuned`.

5. 5

   Latih untuk Reddit: Jalankan `python reddit.py --inductive --test`.

6. 6

   Integrasikan: Adaptasi skrip yang disediakan untuk dataset kustom atau tugas hilir.

Kasus Penggunaan Menyederhanakan Jaringan Konvolusional Graf

• Klasifikasi Node
• Klasifikasi Teks
• Pembelajaran Fitur Graf
• Pelatihan GNN yang Efisien
• Benchmarking GNN

FAQ dari Menyederhanakan Jaringan Konvolusional Graf

• Apa keuntungan utama SGC dibandingkan GCN tradisional?

  SGC menyederhanakan arsitektur GCN dengan menghilangkan non-linearitas dan meruntuhkan matriks bobot, menghasilkan model linier yang melatih secara signifikan lebih cepat sambil mempertahankan kinerja yang kompetitif.

• Dataset mana yang didukung oleh implementasi ini?

  Implementasi ini mendukung jaringan kutipan (Cora, Citeseer, Pubmed) dan dataset jaringan sosial Reddit.

• Bagaimana cara menginstal dependensi untuk proyek ini?

  Anda dapat menginstal dependensi yang diperlukan dengan menjalankan `pip install -r requirements.txt` di lingkungan Anda.

• Apakah ada rekomendasi khusus untuk mempercepat konvergensi SGC?

  Ya, repositori menyarankan untuk menormalkan fitur agar memiliki rata-rata nol dengan standar deviasi satu, yang dapat mempercepat konvergensi untuk SGC dan model linier lainnya.

• Di mana saya dapat menemukan implementasi SGC di pustaka lain?

  Repositori mencantumkan implementasi referensi di Deep Graph Library, PyTorch Geometric, Spektral, StellarGraph, dan tf_geometric.

• Apakah repositori ini menyertakan kode untuk tugas selain klasifikasi node?

  Ya, ada direktori `downstream` yang berisi kode untuk tugas hilir, dimulai dengan implementasi SGC untuk klasifikasi teks.

• Apa metrik kinerja dan waktu pelatihan yang dilaporkan untuk SGC?

  Untuk jaringan kutipan, SGC mencapai akurasi seperti 81,0% pada Cora. Untuk Reddit, model ini mencapai skor F1 sebesar 94,9%. Waktu pelatihan sangat cepat, seringkali di bawah satu detik untuk jaringan kutipan pada GTX 1080 Ti.

• Bagaimana penyetelan hyperparameter ditangani dalam implementasi ini?

  Repositori menyebutkan penggunaan hyperopt untuk menyetel hyperparameter weight decay, dengan hasil yang disimpan di bawah `SGC-tuning`.

• Apa lisensi untuk repositori ini?

  Repositori ini dirilis di bawah lisensi MIT.

• Bisakah saya menggunakan implementasi ini untuk pembelajaran induktif pada dataset Reddit?

  Ya, instruksi penggunaan mencakup menjalankan `python reddit.py --inductive --test` untuk pembelajaran induktif pada dataset Reddit.