نموذج اللغة SmolLM3

الوصف

نموذج SmolLM3 هو نموذج لغة يحتوي على 3 مليار معلمة تم تطويره لتعزيز قدرات النماذج الصغيرة في الذكاء الاصطناعي. تم تصميمه لدعم التفكير في وضعين وهو متعدد اللغات، حيث يدعم بشكل أصلي ست لغات: الإنجليزية، الفرنسية، الإسبانية، الألمانية، الإيطالية، والبرتغالية. النموذج مفتوح بالكامل، مع أوزان مفتوحة وتفاصيل تدريب شاملة، بما في ذلك خلطات بيانات عامة وتكوينات تدريب.

تتكون بنية SmolLM3 من محول يعتمد على فك التشفير فقط باستخدام GQA وNoPE بنسبة 3:1. تم تدريبه مسبقًا على 11.2 تريليون توكن باستخدام منهج تدريبي مرحلي شمل بيانات الويب، والبرمجة، والرياضيات، والتفكير. شمل التدريب بعد التدريب منتصف التدريب على 140 مليار توكن تفكير، تلاه تحسين دقيق تحت إشراف وتوافق من خلال تحسين التفضيل المربوط (APO).

تم تحسين SmolLM3 للتفكير الهجين ويدعم معالجة السياق الطويل، حيث تم تدريبه على سياق 64k وقادر على التعامل مع ما يصل إلى 128k توكن باستخدام استقراء YARN. يمكن نشر النموذج باستخدام vLLM وSGLang، وهو متوافق مع واجهات برمجة التطبيقات بتنسيق OpenAI. كما يدعم استدعاء الأدوات، مما يسمح بالتكامل مع أدوات متنوعة من خلال استدعاءات XML أو دوال بايثون.

للاستدلال المحلي، يمكن استخدام SmolLM3 مع llama.cpp وONNX وMLX وMLC وExecuTorch. تتوفر نقاط تفتيش كمية لنشر فعال. تم تقييم أداء النموذج عبر مجموعة متنوعة من المعايير، مما يظهر نتائج قوية في أسئلة وأجوبة متعددة اللغات، والبرمجة التنافسية، ومهام اتباع التعليمات.

يعد SmolLM3 أداة قيمة للمطورين والباحثين الذين يتطلعون للاستفادة من الذكاء الاصطناعي في مهام التفكير المعقدة والمتعددة اللغات. ومع ذلك، يجب أن يكون المستخدمون على دراية بأن المحتوى الناتج قد لا يكون دائمًا دقيقًا من الناحية الواقعية أو خاليًا من التحيزات الموجودة في بيانات التدريب.

أبرز ملامح نموذج اللغة SmolLM3

• نموذج لغة يحتوي على 3 مليار معلمة

• يدعم التفكير في وضعين

• متعدد اللغات: 6 لغات

• معالجة سياق طويل تصل إلى 128k توكن

• نموذج مفتوح مع أوزان مفتوحة

• نموذج موجه لتحسين التفكير الهجين

• دعم استدعاء الأدوات

• متوافق مع vLLM وSGLang

البدء مع نموذج اللغة SmolLM3

1. 1

   الوصول إلى الصفحة: زيارة صفحة نموذج Hugging Face

2. 2

   تحميل النموذج: استخدام transformers v4.53.0 أو أحدث vllm

3. 3

   تكوين البيئة: ضبط معلمات العينة وطول السياق

4. 4

   التكامل: استخدام استدعاء الأدوات مع XML أو دوال بايثون

5. 5

   تحسين دقيق: تطبيق تحسين دقيق تحت إشراف وتوافق

حالات استخدام نموذج اللغة SmolLM3

• أسئلة وأجوبة متعددة اللغات
• التفكير الهجين
• تكامل الأدوات
• معالجة السياق الطويل
• اتباع التعليمات

الأسئلة الشائعة من نموذج اللغة SmolLM3

• ما هو SmolLM3؟

  SmolLM3 هو نموذج لغة يحتوي على 3 مليار معلمة مصمم لكفاءة النماذج الصغيرة، يدعم التفكير في وضعين وقدرات متعددة اللغات.

• كم عدد اللغات التي يدعمها SmolLM3؟

  يدعم SmolLM3 بشكل أصلي ست لغات: الإنجليزية، الفرنسية، الإسبانية، الألمانية، الإيطالية، والبرتغالية.

• ما هي قدرة طول السياق في SmolLM3؟

  يدعم SmolLM3 معالجة سياق طويل، حيث تم تدريبه على سياق 64k وقادر على التعامل مع ما يصل إلى 128k توكن باستخدام استقراء YARN.

• هل SmolLM3 نموذج مفتوح؟

  نعم، SmolLM3 هو نموذج مفتوح بالكامل مع أوزان مفتوحة وتكوينات تدريب مفصلة متاحة.

• ما هي بنية SmolLM3؟

  SmolLM3 هو محول يعتمد على فك التشفير فقط باستخدام GQA وNoPE بنسبة 3:1.

• هل يمكن استخدام SmolLM3 لاستدعاء الأدوات؟

  نعم، يدعم SmolLM3 استدعاء الأدوات من خلال استدعاءات XML أو دوال بايثون.

• ما هي الأطر المتوافقة مع SmolLM3؟

  يمكن نشر SmolLM3 باستخدام vLLM وSGLang وllama.cpp وONNX وMLX وMLC وExecuTorch.

• ما هي الاستخدامات الرئيسية لـ SmolLM3؟

  يعد SmolLM3 مناسبًا لمهام متعددة اللغات، والتفكير المعقد، وتطبيقات التفكير الهجين.