شبكات الانتباه الرسومية

يكمن الابتكار الأساسي لـ GATs في استخدامها لطبقات الانتباه الذاتي المقنعة، المستوحاة من بنية Transformer. يسمح هذا النهج للشبكة بتعيين أوزان أهمية مختلفة للجيران المختلفين للعقدة، وهي قدرة حاسمة لتجميع المعلومات بطريقة مبدئية عبر هياكل رسوم بيانية عشوائية. على عكس طرق الالتفاف الرسومي السابقة التي غالبًا ما تتطلب تعريفًا صريحًا لأهمية الجوار أو تتنازل عن خصائص مرغوبة، تحدد GATs هذه الأوزان ضمنيًا من خلال آلية انتباه. تحسب هذه الآلية معاملات غير موحدة بناءً على ميزات العقدة ثم تقوم بتطبيعها باستخدام softmax، مما يضمن قابلية المقارنة عبر الأحياء المختلفة.

تشمل الخصائص المرغوبة الرئيسية لمشغلي الالتفاف الرسومي الكفاءة الحسابية والتخزينية (O(V+E))، وعددًا ثابتًا من المعلمات، والتوطين للأحياء المحلية، والقدرة على تحديد أهميات عشوائية للجيران، والتطبيق على المشاكل الاستقرائية (هياكل رسوم بيانية غير مرئية). تلبي GATs جميع هذه الخصائص. آلية الانتباه الذاتي قابلة للموازاة عبر الحواف والعقد، مما يجعلها فعالة حسابيًا. متطلبات التخزين فعالة أيضًا، باستخدام عمليات المصفوفة المتفرقة. معلمات النموذج ثابتة ومستقلة عن حجم الرسم البياني، وهي تعمل بشكل طبيعي على الأحياء المحلية، وآلية الحافة المشتركة تجعلها قابلة للتطبيق بسهولة على مهام التعلم الاستقرائي.

لزيادة استقرار عملية التعلم وتحسين الأداء، تستخدم GATs الانتباه متعدد الرؤوس، وتكرر الطبقة عدة مرات بمعلمات مختلفة وتجمع المخرجات. أثبتت تقنيات التنظيم مثل التسرب المطبق على معاملات الانتباه أنها مفيدة، خاصة لمجموعات البيانات الأصغر، من خلال تعريض العقد للأحياء التي تم أخذ عينات عشوائية منها أثناء التدريب. تم التحقق من هذه المزايا النظرية من خلال مطابقة أو تجاوز الأداء المتطور في العديد من معايير تصنيف العقد الصعبة، بما في ذلك Cora و Citeseer و PubMed و PPI.

يمتد تأثير GATs إلى ما وراء المعايير الأكاديمية، مع تطبيقات في مجالات مثل تجزئة القشرة المخية القائمة على الشبكة باستخدام بيانات التصوير بالرنين المغناطيسي الوظيفي والتنبؤ بالباراتوب العصبي لتصميم الأجسام المضادة. توضح هذه التطبيقات قدرة GATs على استغلال هياكل الرسوم البيانية الأساسية بشكل أكثر فعالية من الأساليب السابقة، مما يؤدي إلى تحسين اتخاذ القرار ورؤى جديدة. الإطار قابل للتكيف أيضًا، مع امتدادات مثل EAGCN التي تتعامل مع الحواف الموزونة أو متعددة الأنواع، والمزيد من الأبحاث التي تستكشف استخدامه في التحسين التوافقي وتصنيف الصور.