Deskripsi
Vision GNN (ViG) mewakili kemajuan signifikan dalam menerapkan Graph Neural Networks (GNN) pada tugas-tugas visi komputer. Dikembangkan oleh Huawei Noah's Ark Lab, proyek ini menyediakan implementasi PyTorch dari backbone AI yang efisien, berfokus pada arsitektur ViG dan Pyramid ViG. Model-model ini memperlakukan gambar sebagai graf node, memungkinkan pendekatan baru untuk ekstraksi fitur dan pembelajaran representasi.
Baca Selengkapnya
Proyek ini mencakup model yang telah dilatih sebelumnya untuk berbagai konfigurasi ViG, seperti ViG-Ti, ViG-S, ViG-B, Pyramid ViG-Ti, Pyramid ViG-S, Pyramid ViG-M, dan Pyramid ViG-B. Model-model ini diukur berdasarkan jumlah parameter (M) dan FLOPs (B), bersama dengan akurasi Top-1 mereka pada tugas klasifikasi gambar. Misalnya, ViG-Ti memiliki 7,1 juta parameter dan 1,3 miliar FLOPs dengan akurasi Top-1 73,9%, sementara Pyramid ViG-B menawarkan 82,6 juta parameter dan 16,8 miliar FLOPs dengan akurasi Top-1 83,7%.
Instruksi terperinci disediakan untuk persiapan data, evaluasi, dan pelatihan. Pengguna dapat mengevaluasi model menggunakan skrip yang disediakan, dan perintah pelatihan diuraikan untuk ViG dan Pyramid ViG pada dataset seperti ImageNet. Perintah pelatihan menentukan hyperparameter seperti learning rate, optimizer, epoch, dan teknik augmentasi, memungkinkan kustomisasi dan eksperimen lebih lanjut. Repositori ini juga menyertakan tautan untuk mengunduh model yang telah dilatih sebelumnya, dengan beberapa memerlukan kata sandi tertentu untuk akses.
ViG dibangun di atas PyTorch 1.7.0 dan memerlukan pustaka seperti timm 0.3.2, torchprofile 0.0.4, dan apex. Proyek ini mengakui penggunaan parsial kode dari deep_gcns_torch dan timm. Inisiatif ini bertujuan untuk mendorong batas-batas model visi dengan memanfaatkan representasi berbasis graf, menawarkan alternatif yang kuat untuk jaringan saraf konvolusional tradisional untuk berbagai aplikasi visi komputer.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti Vision GNN (ViG)
Implementasi PyTorch dari arsitektur Vision GNN (ViG) dan Pyramid ViG
Mencakup model yang telah dilatih sebelumnya untuk berbagai konfigurasi ViG
Menyediakan metrik kinerja model (Parameter, FLOPs, Akurasi Top-1)
Menawarkan skrip pelatihan untuk model ViG dan Pyramid ViG
Mendukung dataset ImageNet untuk evaluasi dan pelatihan
Memerlukan PyTorch 1.7.0, timm 0.3.2, torchprofile 0.0.4, dan apex
Basis kode sebagian menggunakan deep_gcns_torch dan timm
Model memperlakukan gambar sebagai graf node untuk pembelajaran fitur
Mencakup instruksi terperinci untuk persiapan data dan evaluasi
Model yang telah dilatih sebelumnya dapat diunduh tersedia dengan beberapa perlindungan kata sandi
Memulai dengan Vision GNN (ViG)
Akses Model: Kloning repositori GitHub ke mesin lokal Anda.
Siapkan Lingkungan: Instal pustaka yang diperlukan termasuk PyTorch 1.7.0, timm, torchprofile, dan apex.
Siapkan Data: Atur dataset gambar Anda (misalnya, ImageNet) sesuai dengan struktur direktori yang ditentukan.
Evaluasi Model: Gunakan skrip `train.py` yang disediakan dengan flag `--evaluate` dan jalur ke bobot yang telah dilatih sebelumnya.
Latih Model: Jalankan perintah pelatihan untuk ViG atau Pyramid ViG, tentukan model, dataset, dan hyperparameter pelatihan.
Integrasikan Model: Muat bobot yang telah dilatih sebelumnya ke dalam model PyTorch Anda untuk inferensi atau fine-tuning pada tugas kustom.
Kasus Penggunaan Vision GNN (ViG)
- Klasifikasi Gambar
- Ekstraksi Fitur
- Penelitian Visi Komputer
- Pengembangan Model
- Transfer Learning
