الوصف
يعمل مستودع GitHub هذا كقاعدة الكود الرسمية للورقة البحثية لعام ICLR'2022 بعنوان "ما مدى انتباه شبكات الانتباه الرسومية؟". يمكّن الباحثين والمطورين من تكرار النتائج التجريبية المقدمة في الورقة، مع التركيز على آليات الانتباه داخل شبكات الانتباه الرسومية (GATs)، وخاصة متغير GATv2.
قراءة المزيد
تم تنظيم المشروع لتسهيل تكرار التجارب عبر أطر عمل التعلم العميق المختلفة. تشمل الدلائل الفرعية الرئيسية `arxiv_mag_products_collab_citation2_noise` لتجارب التنبؤ بالعقد، والتنبؤ بالروابط، والمتانة ضد الضوضاء؛ `proteins` لنتائج التنبؤ بالعقد ogbn-proteins؛ `dictionary_lookup` لمعيار DictionaryLookup؛ و `tf-gnn-samples` لتجارب مجموعات بيانات VarMisuse و QM9. يسمح هذا التصميم المعياري للمستخدمين بالتنقل بسهولة واستخدام الكود ذي الصلة باهتماماتهم البحثية المحددة.
نموذج GATv2، وهو مكون أساسي للبحث، متاح من خلال التكامل مع مكتبات الشبكات العصبية الرسومية الشائعة. وهو متاح ضمن PyTorch Geometric و DGL ومكتبة TensorFlow GNN من Google، مع توفير روابط مباشرة للوصول السهل إلى وثائقها وتنفيذاتها الخاصة. يضمن هذا التوفر الواسع المرونة للمستخدمين الذين يعملون مع أدوات مفضلة مختلفة.
متطلبات تشغيل الكود متسقة بشكل عام، مع تبعيات على PyTorch (الإصدار 1.7.1) و PyTorch Geometric (الإصدار 1.7.0). قد تحتوي الدلائل الفرعية المحددة على تبعيات إضافية، مثل DGL (الإصدار 0.6.0) للدليل الفرعي `proteins` أو TensorFlow (الإصدار 1.13) لـ `tf-gnn-samples`. يلاحظ المشروع أنه يمكن تنفيذ التجارب على أجهزة GPU أو CPU، مما يوفر إمكانية الوصول لمجموعة واسعة من الموارد الحسابية.
يعد هذا المستودع ذا قيمة لا تقدر بثمن لأي شخص مهتم بفهم الفروق الدقيقة للانتباه في الشبكات العصبية الرسومية، أو تكرار أحدث الأبحاث في هذا المجال، أو تطبيق نماذج GATv2 المتقدمة على مهام التعلم الآلي الخاصة بهم القائمة على الرسوم البيانية. يجعل هيكل الكود الشامل وتكاملات الأطر موردًا قويًا لمجتمع تعلم الرسوم البيانية.
- الفئةمنصّات تعلّم الآلة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ ما مدى انتباه شبكات الانتباه الرسومية؟
تنفيذ الكود الرسمي لورقة "ما مدى انتباه شبكات الانتباه الرسومية؟" (ICLR'2022)
تجارب قابلة للتكرار للتنبؤ بالعقد، والتنبؤ بالروابط، والمتانة ضد الضوضاء
تنفيذ GATv2 متاح في PyTorch Geometric
تنفيذ GATv2 متاح في DGL
تنفيذ GATv2 متاح في TensorFlow GNN
الكود منظم في مشاريع فرعية لإعدادات تجريبية مختلفة
يتضمن كودًا لمجموعات بيانات arxiv_mag_products_collab_citation2_noise و proteins و dictionary_lookup و tf-gnn-samples
تفاصيل تجارب مجموعات بيانات محددة مثل ogbn-proteins و DictionaryLookup و VarMisuse و QM9
يحدد توافق الأجهزة (GPU/CPU)
يوفر معلومات الاستشهاد للورقة البحثية
البدء مع ما مدى انتباه شبكات الانتباه الرسومية؟
الوصول إلى الكود: استنسخ أو قم بتنزيل المستودع من GitHub.
إعداد البيئة: قم بتثبيت التبعيات المدرجة في متطلبات كل دليل فرعي.
تشغيل التجارب: انتقل إلى الدليل الفرعي ذي الصلة وقم بتنفيذ البرامج النصية المقدمة.
دمج GATv2: استخدم GATv2Conv من PyTorch Geometric أو DGL أو TensorFlow GNN.
تكرار النتائج: اتبع تعليمات README لإعدادات تجريبية محددة.
تكييف الكود: قم بتعديل البرامج النصية لمجموعات بيانات الرسوم البيانية المخصصة أو الأسئلة البحثية.
حالات استخدام ما مدى انتباه شبكات الانتباه الرسومية؟
- تكرار البحث
- نمذجة الانتباه الرسومي
- التنبؤ بالعقد
- التنبؤ بالروابط
- تحليل المتانة
- مقارنة الأطر
