الوصف
يتناول منشور المدونة هذا الورقة البحثية "شبكات هوبفيلد هي كل ما تحتاجه" وطبقة هوبفيلد المصاحبة لها في PyTorch. يبدأ بتتبع تطور شبكات هوبفيلد الكلاسيكية، التي تخزن وتسترجع الأنماط الثنائية باستخدام دالة طاقة وتحديثات متزامنة أو غير متزامنة، إلى شبكات هوبفيلد الحديثة. هذه الإصدارات الحديثة، المعروفة أيضًا باسم الذواكر الترابطية الكثيفة (Dense Associative Memories)، تقدم دالة طاقة معممة تسمح بالأنماط والحالات ذات القيم المستمرة، مما يزيد بشكل كبير من سعة التخزين.
قراءة المزيد
يكمن الابتكار الأساسي في دالة طاقة جديدة وقاعدة التحديث المقابلة لها. تم إثبات هذه القاعدة الجديدة رياضيًا أنها تتقارب إلى الحد الأدنى المحلي لدالة الطاقة. والأهم من ذلك، تم إثبات أن قاعدة التحديث هذه مكافئة لآلية الانتباه الذاتي الموجودة في شبكات المحولات (transformers). يسمح هذا الارتباط بالتكامل السلس لطبقات هوبفيلد في معماريات التعلم العميق، مما يوفر لها قدرات الذاكرة الترابطية.
يقدم المنشور ثلاثة أنواع من طبقات هوبفيلد: Hopfield، و HopfieldPooling، و HopfieldLayer. تم تصميم طبقات Hopfield لربط ومعالجة مجموعتين من البيانات، على غرار الانتباه في المحولات. تعمل HopfieldPooling كطبقة تجميع (pooling layer) عند استخدام نمط حالة ثابت واحد، حيث تتعلم نمطًا نموذجيًا. HopfieldLayer مناسب لتخزين الأنماط الثابتة أو تعلم النماذج الداخلية، حيث تكون الأنماط المخزنة ثابتة ويمكن تعلمها.
قابلية التفاضل (differentiability) لطبقات هوبفيلد المستمرة هذه تجعلها مثالية للتعلم العميق. يمكن استخدامها كبدائل قابلة للتوصيل للطبقات الحالية أو للتطبيقات المتخصصة مثل تعلم المثيلات المتعددة (multiple instance learning)، والتعلم القائم على المجموعات (set-based learning)، والتعلم الترابطي (associative learning). يسلط المنشور الضوء أيضًا على تطبيق حديث وحالة فنية (State-Of-The-Art) في تصنيف الترتيب المناعي (immune repertoire classification) (DeepRC)، حيث يتم الاستفادة من سعة التخزين العالية لشبكات هوبفيلد الحديثة لمشكلة تعلم مثيلات متعددة صعبة في علم الأحياء الحاسوبي.
تشمل الخصائص الرئيسية لدالة الطاقة الجديدة التقارب العالمي إلى الحد الأدنى المحلي، وسعة التخزين الأسية، والتقارب بعد خطوة تحديث واحدة. يقدم منشور المدونة أمثلة عملية ومقتطفات تعليمات برمجية لتوضيح استخدام طبقات هوبفيلد الجديدة هذه في سياقات التعلم العميق المختلفة، مع التركيز على مرونتها وقوتها.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ طبقات هوبفيلد
تعميم شبكات هوبفيلد الكلاسيكية على الحالات والأنماط المستمرة.
تقديم دالة طاقة جديدة مضمونة التقارب إلى الحد الأدنى المحلي.
قاعدة التحديث مكافئة للانتباه الذاتي للمحولات.
توفر سعة تخزين أسية.
تمكن من التقارب السريع، غالبًا بعد خطوة تحديث واحدة.
قابلة للتفاضل، مما يسمح بالتكامل في معماريات التعلم العميق.
توفر ثلاثة أنواع من طبقات هوبفيلد: Hopfield، و HopfieldPooling، و HopfieldLayer.
تدعم ربط مجموعتين من البيانات.
تمكن من البحث عن الأنماط الثابتة وعمليات التجميع.
تسهل تعلم النماذج الداخلية أو تخزين الأنماط الثابتة.
قابلة للتطبيق على تعلم المثيلات المتعددة والتعلم القائم على المجموعات.
تستخدم في تطبيقات حالة فنية مثل تصنيف الترتيب المناعي (DeepRC).
البدء مع طبقات هوبفيلد
الوصول إلى النموذج: استخدم تطبيق طبقة هوبفيلد في PyTorch.
التكامل عبر API: قم بدمج طبقات هوبفيلد في معماريات التعلم العميق.
تكوين المعلمات: اضبط الإعدادات مثل بيتا (المعكوس الحراري) لديناميكيات التعلم.
تحديد الأنماط: أدخل الأنماط المخزنة (Y) وأنماط الحالة (R).
تدريب الشبكة: قم بدمج طبقات هوبفيلد في شبكة عصبية أكبر للتدريب.
التحسين: قم بضبط تكوينات الطبقة لمهام ومجموعات بيانات محددة.
حالات استخدام طبقات هوبفيلد
- استرجاع الأنماط
- التكامل مع التعلم العميق
- الذاكرة الترابطية
- الانتباه التسلسلي
- تعلم المثيلات المتعددة
- التعلم القائم على المجموعات
- تصنيف الترتيب المناعي
- عمليات التجميع
- البحث عن الأنماط الثابتة
- التعلم الترابطي
