الوصف
نموذج Falcon3-10B-Instruct هو جزء من عائلة Falcon3 من نماذج Open Foundation، التي تم تطويرها بواسطة معهد الابتكار التكنولوجي. إنه نموذج يعتمد على بنية فك تشفير سببي فقط تعتمد على المحولات، ويتميز بـ 40 كتلة فك تشفير وGrouped Query Attention لتسريع الاستدلال. تم تصميم النموذج لتحقيق نتائج متقدمة في مهام المنطق وفهم اللغة واتباع التعليمات والبرمجة والرياضيات. يدعم أربع لغات: الإنجليزية والفرنسية والإسبانية والبرتغالية، ويقدم طول سياق يصل إلى 32K.
قراءة المزيد
تم تدريب النموذج بعد التدريب على 1.2 مليون عينة من بيانات STEM والمحادثات والبرمجة والسلامة واستدعاء الوظائف، باستخدام 1024 شريحة GPU من نوع H100. يتم ترخيص Falcon3-10B-Instruct بموجب ترخيص TII Falcon-LLM 2.0 ومن المقرر إصداره في ديسمبر 2024. لقد أظهر أداءً عاليًا في عدة معايير، بما في ذلك IFEval وBBH وMATH Lvl-5 وGPQA وMUSR.
نموذج Falcon3-10B-Instruct مناسب للمطورين والباحثين الذين يبحثون عن نموذج لغوي قوي يمكنه التعامل مع مهام معقدة عبر عدة لغات. يقدم مزايا كبيرة من حيث السرعة والدقة، مما يجعله أداة قيمة للمشاريع المدفوعة بالذكاء الاصطناعي. تضمن بنية النموذج وبيانات التدريب فهمًا شاملاً للغة وقدرات اتباع التعليمات.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح نموذج Falcon3-10B-Instruct
بنية فك تشفير سببي تعتمد على المحولات فقط
40 كتلة فك تشفير
Grouped Query Attention لتسريع الاستدلال
يدعم الإنجليزية والفرنسية والإسبانية والبرتغالية
طول سياق 32K
تم التدريب بعد التدريب على 1.2 مليون عينة
قيمة RoPE عالية لفهم السياق الطويل
يستخدم SwiGLu وRMSNorm
حجم المفردات 131K
تم تطويره بواسطة معهد الابتكار التكنولوجي
ترخيص: TII Falcon-LLM License 2.0
تاريخ إصدار النموذج: ديسمبر 2024
أداء المعايير: IFEval وBBH وMATH Lvl-5
يستخدم 1024 شريحة GPU من نوع H100
عمق تم توسيعه من Falcon3-7B-Base
البدء مع نموذج Falcon3-10B-Instruct
الوصول إلى الصفحة: زيارة مستودع نماذج Hugging Face
تحميل النموذج: تهيئة Falcon3-10B-Instruct في بيئتك
تهيئة البيئة: إعداد التبعيات والتكوينات اللازمة
التكامل: ربط النموذج بتطبيقك
التدريب الدقيق: ضبط معلمات النموذج لمهام محددة
حالات استخدام نموذج Falcon3-10B-Instruct
- فهم اللغة
- اتباع التعليمات
- مهام المنطق
- تحليل الشيفرة
- مهام الرياضيات
