الوصف
TabFM 1.0.0 (PyTorch) هو نموذج أساسي جدولي بدون تدريب مسبق تم تطويره بواسطة Google Research. تم تصميمه للتعامل مع مهام التصنيف والانحدار على البيانات الهيكلية، وبشكل خاص البيانات الجدولية التي تحتوي على أعمدة رقمية وفئوية مختلطة. يعمل النموذج دون الحاجة إلى ضبط دقيق أو بحث عن معلمات، مما يسمح للمستخدمين بتمرير أمثلة التدريب كسياق وإجراء التنبؤات في تمريرة واحدة للأمام.
قراءة المزيد
تستخدم بنية النموذج انتباهًا متناوبًا بين الصفوف والأعمدة لالتقاط تفاعلات الميزات وأنماط الصفوف. يستخدم انتباه الأعمدة Set Transformer لتضمين كل خلية بميزات فورييه ويجمع عبر الصفوف من خلال الانتباه الذاتي المستحث. يتم تحقيق ضغط الصفوف من خلال رموز CLS التي تلخص كل صف إلى متجه كثيف باستخدام انتباه الصفوف مع تضمين الموقع الدائري (RoPE). يعمل ICL Transformer، وهو محول سببي مكون من 24 كتلة، على هذه المتجهات المضغوطة للصفوف، معاملة صفوف التدريب كسياق وإخراج التنبؤات لصفوف الاختبار.
تم تحسين TabFM للتصنيف الثنائي وتصنيف متعدد الفئات (حتى 10 فئات) والانحدار على الأهداف المستمرة. يدعم البيانات في شكل DataFrames من pandas أو مصفوفات numpy. تم تدريب النموذج على مئات الملايين من مجموعات البيانات الاصطناعية التي تم إنشاؤها باستخدام نماذج سببية هيكلية (SCMs)، والتي تشفر تحيزات استقرائية حول الهياكل السببية النموذجية في المهام الجدولية.
تظهر تقييمات الأداء على TabArena عبر 51 مجموعة بيانات أن TabFM يتفوق على الأسس الخاضعة للإشراف التي تم ضبطها بشكل كبير، بما في ذلك الأشجار المعززة بالتدرج، في وضع عدم التدريب. ومع ذلك، لديه قيود، مثل الحد الأقصى من 10 فئات للتصنيف واستخدام الذاكرة الذي يتزايد مع عدد صفوف التدريب. لا يُقصد به الاستخدام التجاري، الصور، الصوت، الفيديو، النص الخام، أو البيانات الهيكلية غير الجدولية.
تم إصدار أوزان النموذج بموجب ترخيص TabFM غير التجاري v1.0، ورمز المصدر متاح بموجب ترخيص Apache 2.0.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح TabFM 1.0.0 (PyTorch)
نموذج جدولي بدون تدريب مسبق
يدعم التصنيف والانحدار
يتعامل مع البيانات الرقمية والفئوية المختلطة
لا يتطلب ضبط دقيق
انتباه متناوب بين الصفوف والأعمدة
تم تدريبه على مجموعات بيانات اصطناعية
حد أقصى 10 فئات للتصنيف
ترخيص غير تجاري
البدء مع TabFM 1.0.0 (PyTorch)
الوصول إلى النموذج: زيارة صفحة Hugging Face
المصادقة: استخدام بيانات اعتماد Hugging Face
إعداد البيئة: تثبيت PyTorch
التكامل عبر API: استخدام API من Hugging Face Hub
تحسين: التقييم على بيانات تمثيلية
حالات استخدام TabFM 1.0.0 (PyTorch)
- التصنيف الثنائي
- التصنيف متعدد الفئات
- تحليل الانحدار
- تكامل DataFrame
- دعم مصفوفة Numpy
