الوصف
يستضيف مستودع GitHub هذا، locuslab/convmixer، تنفيذ ConvMixer، وهي بنية شبكة عصبية مفصلة في ورقة ICLR 2022 بعنوان "Patches Are All You Need? 🤷" بقلم آشر تروكمان وزيكو كولتر. يقع الكود الأساسي لنموذج ConvMixer في `convmixer.py`. يستفيد المشروع من إطار عمل `pytorch-image-models` (timm) للتدريب ويتضمن تعديلات على هذا الإطار لدعم ConvMixers.
قراءة المزيد
تشمل التعديلات الرئيسية داخل إطار عمل `pytorch-image-models` إضافة `timm/models/convmixer.py`، وتحديثات لـ `timm/models/__init__.py`، ودمج جدول معدل تعلم "OneCycle" مع ملفات المجدول المقابلة. بينما يُلاحظ جدول OneCycle، يقترح المؤلفون أن جداول جيب التمام القياسية يمكن أن تكون فعالة أيضًا لتدريب ConvMixers.
يقدم المستودع أوزان نماذج مدربة مسبقًا لعدة متغيرات من ConvMixer، بما في ذلك ConvMixer-1536/20 و ConvMixer-768/32 و ConvMixer-1024/20، مع تفاصيل حول حجم النواة وحجم الرقعة وحجم الملف. يتم توفير تعليمات وأوامر مثال لتقييم هذه النماذج على مجموعات بيانات مثل ImageNet-1k، بهدف تحقيق دقة عالية. على سبيل المثال، من المتوقع أن يحقق ConvMixer-1536/20 دقة تبلغ 81.37٪ على التحقق من ImageNet-1k.
يتم أيضًا تفصيل تدريب ConvMixers، مع أمر مثال للتدريب الموزع على إعداد متعدد وحدات معالجة الرسومات باستخدام ImageNet-1k. يحدد أمر التدريب المعلمات الفائقة مثل حجم الدفعة، وعدد العمال، والمحسن، والعصور، وجدول معدل التعلم، وتقنيات التعزيز (مثل RandAugment و CutMix و MixUp)، وحجم الإدخال. يتضمن المستودع أيضًا إصدارًا مبسطًا وقابلًا للتغريد لبنية ConvMixer في Python.
بالإضافة إلى ذلك، يتم ربط مستودع منفصل لتدريب ConvMixers على CIFAR-10، ويتم تقديم نصائح حول تعديل معلمات التدريب مثل `--scale` لأحجام الإدخال الأصغر. المشروع مفتوح المصدر بموجب ترخيص MIT، مما يشجع على مساهمة المجتمع والتطوير الإضافي.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ ConvMixer
تنفيذ بنية الشبكة العصبية ConvMixer
يعتمد على الورقة البحثية "Patches Are All You Need? 🤷"
يتضمن كودًا لتدريب ConvMixers
يوفر أوزان نماذج مدربة مسبقًا للتقييم
يدعم التدريب على مجموعات بيانات ImageNet-1k و CIFAR-10
يستفيد من إطار عمل `pytorch-image-models` (timm)
يتضمن تنفيذًا لمجدول معدل تعلم "OneCycle"
يقدم أوامر مثال لتقييم النموذج
يتضمن أوامر مثال للتدريب الموزع
يحتوي على إصدار مبسط وقابل للتغريد لنموذج ConvMixer
أوزان النموذج متاحة للتنزيل
مفتوح المصدر بموجب ترخيص MIT
البدء مع ConvMixer
الوصول إلى النموذج: استنسخ مستودع GitHub إلى جهازك المحلي.
إعداد البيئة: قم بتثبيت مكتبات Python الضرورية، بما في ذلك PyTorch و `pytorch-image-models`.
تحميل النموذج: قم بإنشاء نموذج ConvMixer باستخدام نصوص Python المقدمة.
تقييم النموذج: استخدم نص `validate.py` مع الأوزان التي تم تنزيلها ومجموعة بيانات التحقق.
تدريب النموذج: قم بتنفيذ نص `distributed_train.sh` مع مسارات مجموعة البيانات المحددة ومعلمات التدريب.
التكامل: قم بتكييف كود `convmixer.py` لحلقات التدريب المخصصة أو خطوط الاستدلال.
حالات استخدام ConvMixer
- تصنيف الصور
- تقييم النموذج
- تدريب النماذج المخصصة
- البحث والتطوير
- التعلم الانتقالي
- المقارنة المعيارية
