الوصف
يستضيف مستودع Informer2020 تطبيق PyTorch الرسمي لنموذج Informer، وهو نموذج ذكاء اصطناعي رائد للتنبؤ بالسلاسل الزمنية الطويلة. تم تقديم هذا النموذج في ورقة بحثية بعنوان "Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting"، والتي تم قبولها في مؤتمر AAAI 2021 وحصلت على جائزة أفضل ورقة بحثية.
الابتكار الأساسي في Informer يكمن في آلية ProbSparse Attention. يمكن أن تكون آليات الانتباه الذاتي التقليدية مكلفة حسابياً للسلاسل الطويلة بسبب تعقيدها التربيعي. يعالج Informer هذا من خلال تحديد والتركيز على الاستعلامات الأكثر "نشاطاً" في توزيع درجات الانتباه الذاتي، متجاهلاً بفعالية الاستعلامات "الكسولة" في منطقة الذيل الطويل. هذا النهج الانتباهي المتفرق يعزز الكفاءة بشكل كبير دون التضحية بالأداء.
يوفر المستودع جميع الأكواد اللازمة لإعادة إنتاج نتائج الورقة البحثية، بما في ذلك تطبيقات النموذج، وسكربتات معالجة البيانات، وأدوات التدريب/الاختبار. يدعم مجموعات بيانات متنوعة، مثل بيانات ETT و ECL و Weather، ويقدم تعليمات مفصلة للإعداد والتنفيذ. يمكن للمستخدمين الاستفادة من Dockerfile و Makefile المقدمين لتهيئة البيئة وتنزيل مجموعات البيانات بسهولة.
تشمل الميزات الرئيسية آلية ProbSparse Attention، وهي ضرورية للتعامل مع السلاسل الطويلة، وهندسة Transformer الفعالة بشكل عام. تم تنفيذ النموذج في PyTorch، مما يجعله متاحاً لمجموعة واسعة من الباحثين والمطورين في مجتمع التعلم الآلي. يتضمن المستودع أيضاً أمثلة Colab للتجريب سهل الاستخدام، مما يسمح بالتدريب والاختبار والتنبؤ والتصور.
يشمل الجمهور المستهدف لـ Informer2020 الباحثين وعلماء البيانات والمهندسين الذين يعملون على مشاكل التنبؤ بالسلاسل الزمنية، وخاصة أولئك الذين يتعاملون مع بيانات تاريخية طويلة. يشمل ذلك تطبيقات في التنبؤ بحمل الطاقة، والتنبؤ بالطقس، وتحليل الأسواق المالية، ومجالات أخرى حيث تكون التنبؤات طويلة الأجل الدقيقة حاسمة. كفاءة النموذج وفعاليته تجعله أداة قيمة لتعزيز أحدث ما توصلت إليه التكنولوجيا في تحليل السلاسل الزمنية.
أبرز ملامح Informer2020
آلية ProbSparse Attention لمعالجة السلاسل الطويلة بكفاءة
تطبيق PyTorch لنموذج Informer
مصمم للتنبؤ بالسلاسل الزمنية الطويلة
نموذج حائز على جائزة أفضل ورقة بحثية في AAAI'21
يشمل سكربتات لتحميل البيانات والتدريب والاختبار
يدعم مجموعات بيانات السلاسل الزمنية المتعددة (ETT, ECL, Weather)
يوفر أمثلة Colab للتجريب السهل
Dockerfile و Makefile لإعداد البيئة وقابلية التكرار
قاعدة أكواد لإعادة إنتاج نتائج الأبحاث
يركز على تحسين كفاءة Transformer للتنبؤ
البدء مع Informer2020
إعداد البيئة: قم بتثبيت التبعيات باستخدام `pip install -r requirements.txt` أو عبر Docker.
تنزيل البيانات: احصل على مجموعات بيانات ETT أو ECL أو Weather وضعها في الدليل المحدد.
تهيئة Docker: استخدم `make init` لإعداد صورة Docker.
تشغيل التجارب: قم بتنفيذ سكربتات التدريب والاختبار من دليل `scripts/`.
دمج النموذج: قم بتكييف سكربتات Python المقدمة لمهام التنبؤ المخصصة.
إعادة إنتاج النتائج: اتبع الخطوات الموضحة في README لإعادة إنتاج نتائج الورقة البحثية.
استخدام أمثلة Colab: استكشف دفاتر ملاحظات Colab المقدمة للتجريب العملي.
حالات استخدام Informer2020
- التنبؤ طويل الأجل
- التنبؤ بحمل الطاقة
- التنبؤ بالطقس
- تحليل الأسواق المالية
- كشف الشذوذ
- إدارة الموارد
