الوصف
Vision GNN (ViG) يمثل تقدمًا كبيرًا في تطبيق شبكات الرسوم البيانية العصبية (GNNs) على مهام الرؤية الحاسوبية. تم تطوير هذا المشروع بواسطة Huawei Noah's Ark Lab، ويوفر تطبيقات PyTorch لهياكل خلفية فعالة للذكاء الاصطناعي، مع التركيز على معماريات ViG و Pyramid ViG. تعالج هذه النماذج الصور كرسوم بيانية للعقد، مما يتيح أساليب جديدة لاستخراج الميزات وتعلم التمثيل.
قراءة المزيد
يتضمن المشروع نماذج مدربة مسبقًا لتكوينات ViG مختلفة، مثل ViG-Ti، ViG-S، ViG-B، Pyramid ViG-Ti، Pyramid ViG-S، Pyramid ViG-M، و Pyramid ViG-B. يتم قياس أداء هذه النماذج بناءً على عدد المعلمات (M) و FLOPs (B)، جنبًا إلى جنب مع دقتها الأعلى (Top-1 Accuracy) في مهام تصنيف الصور. على سبيل المثال، يتميز ViG-Ti بـ 7.1 مليون معلمة و 1.3 مليار FLOPs مع دقة Top-1 تبلغ 73.9%، بينما يوفر Pyramid ViG-B 82.6 مليون معلمة و 16.8 مليار FLOPs مع دقة Top-1 تبلغ 83.7%.
تم تقديم تعليمات مفصلة لإعداد البيانات والتقييم والتدريب. يمكن للمستخدمين تقييم النماذج باستخدام السكربتات المقدمة، وتم تحديد أوامر التدريب لكل من ViG و Pyramid ViG على مجموعات بيانات مثل ImageNet. تحدد أوامر التدريب المعلمات الفائقة مثل معدل التعلم والمحسن وعدد الدورات وتقنيات التعزيز، مما يسمح بالتخصيص والمزيد من التجارب. يتضمن المستودع أيضًا روابط لتنزيل النماذج المدربة مسبقًا، مع بعضها يتطلب كلمات مرور محددة للوصول.
يعتمد ViG على PyTorch 1.7.0 ويتطلب مكتبات مثل timm 0.3.2 و torchprofile 0.0.4 و apex. يعترف المشروع باستخدامه الجزئي للكود من deep_gcns_torch و timm. تهدف هذه المبادرة إلى دفع حدود نماذج الرؤية من خلال الاستفادة من التمثيلات القائمة على الرسوم البيانية، مما يوفر بديلاً قويًا للشبكات العصبية التلافيفية التقليدية لمجموعة من تطبيقات الرؤية الحاسوبية.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ Vision GNN (ViG)
تطبيق PyTorch لمعماريات Vision GNN (ViG) و Pyramid ViG
يشمل نماذج مدربة مسبقًا لتكوينات ViG مختلفة
يوفر مقاييس أداء النموذج (المعلمات، FLOPs، دقة Top-1)
يقدم سكربتات تدريب لنماذج ViG و Pyramid ViG
يدعم مجموعة بيانات ImageNet للتقييم والتدريب
يتطلب PyTorch 1.7.0، timm 0.3.2، torchprofile 0.0.4، و apex
يستخدم الكود جزئيًا deep_gcns_torch و timm
تعالج النماذج الصور كرسوم بيانية للعقد لتعلم الميزات
يتضمن تعليمات مفصلة لإعداد البيانات والتقييم
نماذج مدربة مسبقًا قابلة للتنزيل متاحة مع بعض الحماية بكلمة مرور
البدء مع Vision GNN (ViG)
الوصول إلى النموذج: استنسخ مستودع GitHub إلى جهازك المحلي.
إعداد البيئة: قم بتثبيت المكتبات المطلوبة بما في ذلك PyTorch 1.7.0 و timm و torchprofile و apex.
إعداد البيانات: قم بتنظيم مجموعة بيانات الصور الخاصة بك (مثل ImageNet) وفقًا لهيكل الدليل المحدد.
تقييم النموذج: استخدم سكربت `train.py` المقدم مع العلامة `--evaluate` ومسار الأوزان المدربة مسبقًا.
تدريب النموذج: قم بتنفيذ أوامر التدريب لـ ViG أو Pyramid ViG، مع تحديد النموذج ومجموعة البيانات والمعلمات الفائقة للتدريب.
دمج النموذج: قم بتحميل الأوزان المدربة مسبقًا في نموذج PyTorch الخاص بك للاستدلال أو الضبط الدقيق على مهام مخصصة.
حالات استخدام Vision GNN (ViG)
- تصنيف الصور
- استخراج الميزات
- أبحاث الرؤية الحاسوبية
- تطوير النماذج
- التعلم الانتقالي
