نماذج التعلم العميق للبيانات الجدولية

الوصف

يعمل هذا المستودع كتنفيذ رسمي للورقة البحثية "إعادة النظر في نماذج التعلم العميق للبيانات الجدولية"، التي تم تقديمها في NeurIPS 2021. يتعمق المشروع في فعالية معماريات التعلم العميق المختلفة عند تطبيقها على مجموعات البيانات الجدولية، وهو مجال غالبًا ما تتفوق فيه الطرق التقليدية مثل أشجار القرار المعززة بالتدرج (GBDTs).

تشير النتائج الأساسية للورقة، كما تنعكس في هذا المستودع، إلى أن شبكات Perceptrons متعددة الطبقات (MLPs) البسيطة والمضبوطة جيدًا تظل تنافسية للغاية، وغالبًا ما تؤدي على قدم المساواة مع أو حتى تتجاوز نماذج التعلم العميق الأكثر تعقيدًا. تعزز معمارية ResNet، وهي تنويع لـ MLP يتضمن اتصالات تخطي وتطبيع الدُفعات، قوة الهياكل الشبيهة بـ MLP للبيانات الجدولية. ومع ذلك، يقدم البحث أيضًا FT-Transformer، وهي معمارية جديدة تتكيف مع نموذج Transformer للبيانات الجدولية. يُظهر FT-Transformer أداءً متوسطًا متفوقًا عبر المعايير مقارنة بالنماذج العميقة الأخرى ويقلل بشكل كبير من فجوة الأداء بين التعلم العميق و GBDTs على مجموعات البيانات التي تهيمن عليها GBDTs تقليديًا.

تم تنظيم المستودع لتسهيل إعادة إنتاج نتائج الورقة والمزيد من البحث. يتضمن حزمة Python للاستخدام العملي، ومقاييس مفصلة ومعلمات فائقة لمختلف النماذج ومجموعات البيانات، وتعليمات واضحة حول الإعداد، وتنزيل البيانات، وتنفيذ نصوص الضبط والتقييم والتجميع. تم تنظيم الكود في أدلة للتدريب والتجميع والضبط والتحليل والأدوات المشتركة، مع مخرجات تشمل إحصائيات وتكوينات مفصلة.

هذا المشروع قيم للباحثين والممارسين في مجال التعلم الآلي، وخاصة أولئك الذين يعملون مع البيانات الجدولية. يوفر إطارًا قويًا لتجربة نماذج التعلم العميق ونشرها، ويقدم رؤى حول المعماريات التي تؤدي بشكل أفضل وتحت أي ظروف. يشير تضمين FT-Transformer إلى اتجاه واعد لتعزيز التعلم العميق على البيانات المنظمة.

أبرز ملامح نماذج التعلم العميق للبيانات الجدولية

• التنفيذ الرسمي لورقة NeurIPS 2021 'إعادة النظر في نماذج التعلم العميق للبيانات الجدولية'

• استكشاف نماذج تشبه MLP كخطوط أساس قوية للبيانات الجدولية

• تقديم FT-Transformer، وهو تكيف لمعمارية Transformer للبيانات الجدولية

• توفير حزمة Python للتطبيق العملي والبحث المستقبلي

• تضمين مقاييس مفصلة ومعلمات فائقة مضبوطة لمختلف النماذج ومجموعات البيانات

• قاعدة كود لإعادة إنتاج النتائج المبلغ عنها

• نصوص برمجية لضبط المعلمات الفائقة، وتقييم النماذج، والتجميع

• دعم بيئات PyTorch و TensorFlow للتجريب

• تسهيل المقارنة بين نماذج التعلم العميق و GBDTs على مجموعات البيانات الجدولية

• تقديم رؤى حول خصائص أداء معماريات التعلم العميق المختلفة على البيانات الجدولية

البدء مع نماذج التعلم العميق للبيانات الجدولية

1. 1

   إعداد البيئة: تثبيت التبعيات اللازمة باستخدام Conda و pip.

2. 2

   تنزيل البيانات: الحصول على أرشيف مجموعة البيانات وفك ضغطه في جذر المستودع.

3. 3

   إعادة إنتاج النتائج: اتباع خطوات البرنامج التعليمي للضبط والتقييم والتجميع.

4. 4

   تشغيل النصوص البرمجية: تنفيذ نصوص Python البرمجية من جذر المستودع، مع توفير ملفات التكوين.

5. 5

   التكامل عبر API: استخدام حزمة Python للتطبيق العملي.

6. 6

   استكشاف المقاييس: تحليل ملفات `stats.json` لفهم أداء النموذج.

7. 7

   تكوين النماذج: تعديل ملفات التكوين TOML للتجارب المخصصة.

حالات استخدام نماذج التعلم العميق للبيانات الجدولية

• تحليل البيانات الجدولية
• قياس أداء النماذج
• تنفيذ الأبحاث
• استكشاف هندسة الميزات
• النمذجة التنبؤية

الأسئلة الشائعة من نماذج التعلم العميق للبيانات الجدولية

• ما هو التركيز الرئيسي لمستودع GitHub 'rtdl-revisiting-models'؟

  يوفر المستودع التنفيذ الرسمي لورقة NeurIPS 2021 'إعادة النظر في نماذج التعلم العميق للبيانات الجدولية'، ويستكشف معماريات التعلم العميق لمجموعات البيانات الجدولية.

• ما هي النتائج الرئيسية فيما يتعلق بنماذج MLP في هذا البحث؟

  وجدت الأبحاث أن نماذج MLP البسيطة والمضبوطة جيدًا تعمل كخطوط أساس قوية للبيانات الجدولية، وغالبًا ما تؤدي بشكل مماثل أو أفضل من المعماريات الأكثر تطوراً.

• ما هو FT-Transformer وما هي فوائده للبيانات الجدولية؟

  FT-Transformer هي معمارية جديدة تتكيف مع نموذج Transformer للبيانات الجدولية. أظهرت أفضل أداء متوسط بين النماذج العميقة على المعايير وقللت الفجوة بين DL و GBDTs على مجموعات بيانات معينة.

• كيف يمكنني إعادة إنتاج النتائج من الورقة باستخدام هذا المستودع؟

  يمكنك إعادة إنتاج النتائج عن طريق إعداد البيئة، وتنزيل البيانات، واتباع خطوات البرنامج التعليمي للضبط والتقييم والتجميع المقدمة في README.

• ما هي لغات البرمجة وأطر العمل المستخدمة في هذا المشروع؟

  يستخدم المشروع بشكل أساسي Python، مع دعم لبيئات PyTorch و TensorFlow لتنفيذ نماذج التعلم العميق والتجريب.

• أين يمكنني العثور على حزمة Python لاستخدام النماذج عمليًا؟

  حزمة Python الموصى بها للاستخدام العملي والعمل المستقبلي موجودة في دليل 'package/' في المستودع.

• كيف يتم تخزين النتائج والتكوينات والوصول إليها؟

  يتم تخزين النتائج والمعلمات الفائقة المضبوطة والتكوينات في دليل 'output/'، مع كون `stats.json` ملفًا رئيسيًا لمقاييس الأداء.

• ما هي الطريقة الموصى بها لتشغيل النصوص البرمجية وإدارة البيئات؟

  يجب تشغيل النصوص البرمجية من جذر المستودع، ويتم إدارة البيئات باستخدام Conda. يتطلب استخدام CUDA تعيين متغير البيئة `CUDA_VISIBLE_DEVICES` بشكل صريح.

• هل يقدم هذا المستودع نماذج مدربة مسبقًا للاستخدام المباشر؟

  يوفر المستودع تطبيقات ونتائج لنماذج مختلفة، جنبًا إلى جنب مع المعلمات الفائقة المضبوطة، مما يسهل إعادة الإنتاج والبحث المستقبلي بدلاً من تقديم تنزيلات نماذج مدربة مسبقًا مباشرة للاستدلال الفوري.

• ما نوع مجموعات البيانات المستخدمة في التجارب؟

  تتجارب المستودع مع مجموعات بيانات جدولية مختلفة، بما في ذلك أمثلة مثل 'adult'، 'aloi'، 'california_housing'، 'covtype'، و 'higgs_small'.