الوصف
نموذج SmolLM3 هو نموذج لغة يحتوي على 3 مليار معلمة تم تطويره لتعزيز قدرات النماذج الصغيرة في الذكاء الاصطناعي. تم تصميمه لدعم التفكير في وضعين وهو متعدد اللغات، حيث يدعم بشكل أصلي ست لغات: الإنجليزية، الفرنسية، الإسبانية، الألمانية، الإيطالية، والبرتغالية. النموذج مفتوح بالكامل، مع أوزان مفتوحة وتفاصيل تدريب شاملة، بما في ذلك خلطات بيانات عامة وتكوينات تدريب.
قراءة المزيد
تتكون بنية SmolLM3 من محول يعتمد على فك التشفير فقط باستخدام GQA وNoPE بنسبة 3:1. تم تدريبه مسبقًا على 11.2 تريليون توكن باستخدام منهج تدريبي مرحلي شمل بيانات الويب، والبرمجة، والرياضيات، والتفكير. شمل التدريب بعد التدريب منتصف التدريب على 140 مليار توكن تفكير، تلاه تحسين دقيق تحت إشراف وتوافق من خلال تحسين التفضيل المربوط (APO).
تم تحسين SmolLM3 للتفكير الهجين ويدعم معالجة السياق الطويل، حيث تم تدريبه على سياق 64k وقادر على التعامل مع ما يصل إلى 128k توكن باستخدام استقراء YARN. يمكن نشر النموذج باستخدام vLLM وSGLang، وهو متوافق مع واجهات برمجة التطبيقات بتنسيق OpenAI. كما يدعم استدعاء الأدوات، مما يسمح بالتكامل مع أدوات متنوعة من خلال استدعاءات XML أو دوال بايثون.
للاستدلال المحلي، يمكن استخدام SmolLM3 مع llama.cpp وONNX وMLX وMLC وExecuTorch. تتوفر نقاط تفتيش كمية لنشر فعال. تم تقييم أداء النموذج عبر مجموعة متنوعة من المعايير، مما يظهر نتائج قوية في أسئلة وأجوبة متعددة اللغات، والبرمجة التنافسية، ومهام اتباع التعليمات.
يعد SmolLM3 أداة قيمة للمطورين والباحثين الذين يتطلعون للاستفادة من الذكاء الاصطناعي في مهام التفكير المعقدة والمتعددة اللغات. ومع ذلك، يجب أن يكون المستخدمون على دراية بأن المحتوى الناتج قد لا يكون دائمًا دقيقًا من الناحية الواقعية أو خاليًا من التحيزات الموجودة في بيانات التدريب.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح نموذج اللغة SmolLM3
نموذج لغة يحتوي على 3 مليار معلمة
يدعم التفكير في وضعين
متعدد اللغات: 6 لغات
معالجة سياق طويل تصل إلى 128k توكن
نموذج مفتوح مع أوزان مفتوحة
نموذج موجه لتحسين التفكير الهجين
دعم استدعاء الأدوات
متوافق مع vLLM وSGLang
البدء مع نموذج اللغة SmolLM3
الوصول إلى الصفحة: زيارة صفحة نموذج Hugging Face
تحميل النموذج: استخدام transformers v4.53.0 أو أحدث vllm
تكوين البيئة: ضبط معلمات العينة وطول السياق
التكامل: استخدام استدعاء الأدوات مع XML أو دوال بايثون
تحسين دقيق: تطبيق تحسين دقيق تحت إشراف وتوافق
حالات استخدام نموذج اللغة SmolLM3
- أسئلة وأجوبة متعددة اللغات
- التفكير الهجين
- تكامل الأدوات
- معالجة السياق الطويل
- اتباع التعليمات
