الوصف
Ling هي عائلة من نماذج اللغة الكبيرة من نوع مزيج الخبراء (MoE) تم تطويرها وفتح مصدرها بواسطة inclusionAI، وهي سلسلة من مشاريع الذكاء الاصطناعي مفتوحة المصدر من مجموعة Ant. يستضيف مستودع GitHub الشيفرة، والوثائق، وروابط أوزان النماذج، ويتم صيانته بنشاط، مع التحديثات الأخيرة هذا الشهر و267 نجمة.
قراءة المزيد
تقدم المشروع نماذج بحجمين رئيسيين: Ling-lite، مع 16.8 مليار معلمة إجمالية و2.75 مليار معلمة مفعلة لكل تمرير للأمام، وLing-plus، مع 290 مليار معلمة إجمالية و28.8 مليار مفعلة. نظرًا لأن Ling يستخدم بنية مزيج الخبراء، يتم تفعيل مجموعة فرعية فقط من المعلمات لأي إدخال معين، مما يحافظ على تكلفة الاستدلال أقرب إلى نموذج كثيف أصغر بكثير مع الاحتفاظ بعدد إجمالي أكبر من المعلمات. يدعم Ling-lite نافذة سياق تصل إلى 128K توكن؛ بينما يدعم Ling-plus 64K. يتوفر أيضًا متغير موجه نحو الترميز، Ling-Coder-lite، مع نافذة سياق 16K.
توزع أوزان النماذج عبر Hugging Face وModelScope (الأخيرة موجهة للمستخدمين في البر الرئيسي للصين لتنزيلات أسرع)، مع نقاط تفتيش أساسية ومضبوطة للتعليم لمعظم المتغيرات. توثق المستودع نتائج المعايير مقابل نماذج مفتوحة مماثلة مثل Qwen3 وLLaMA 3.1 عبر مهام تشمل MMLU، HumanEval، LiveCodeBench، ومعايير التفكير الرياضي، حيث يظهر Ling-lite-1.5 درجات تنافسية أو رائدة في عدة معايير ترميز ورياضيات بين نماذج بحجم مماثل.
للنشر، يتضمن Ling مسارات موثقة لتشغيل الاستدلال عبر مكتبة Hugging Face Transformers، vLLM، وMindIE من Huawei، بالإضافة إلى شيفرة مثال لكل من الاستدلال الجماعي غير المتصل والخدمة عبر الإنترنت، بما في ذلك إعدادات متعددة الآلات لنموذج Ling-plus الأكبر. يتضمن المستودع أيضًا تعليمات لضبط النماذج للفرق التي ترغب في تكييف النماذج مع بياناتها الخاصة.
تم إصدار Ling بموجب ترخيص MIT، والشيفرة مجانية للاستخدام، والتعديل، وإعادة التوزيع. تستهدف الباحثين، ومهندسي التعلم الآلي، والمطورين الذين يرغبون في استضافة LLM مفتوح بأنفسهم بدلاً من استدعاء واجهة برمجة التطبيقات المستضافة، وخاصة أولئك المهتمين ببنى مزيج الخبراء أو متغيرات النماذج الموجهة نحو الترميز.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشراستضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ Ling
بنية مزيج الخبراء لاستدلال فعال على نطاق واسع
أحجام نماذج متعددة: Ling-lite (16.8B) وLing-plus (290B) معلمات إجمالية
متغير Ling-Coder-lite مضبوطة لمهام الترميز
نوافذ سياق تصل إلى 128K توكن (Ling-lite) أو 64K (Ling-plus)
نقاط تفتيش أساسية ومضبوطة للتعليم لمعظم المتغيرات
توزيع الأوزان عبر Hugging Face وModelScope
دعم النشر لـ Transformers وvLLM وMindIE
سير عمل موثق لضبط النماذج للتدريب المخصص
شيفرة مفتوحة المصدر مرخصة بموجب MIT
البدء مع Ling
استنساخ المستودع: احصل على الشيفرة من github.com/inclusionAI/Ling
تنزيل الأوزان: اسحب نقطة تفتيش النموذج التي تحتاجها من Hugging Face أو ModelScope
تثبيت التبعيات: إعداد Transformers وvLLM أو MindIE وفقًا لأدلة النشر في المستودع
تشغيل الاستدلال: استخدم الشيفرة السريعة المقدمة للاستدلال غير المتصل أو المتصل
ضبط (اختياري): اتبع دليل الضبط لتكييف النموذج مع بياناتك الخاصة
تقييم: قارن المخرجات مع نتائج المعايير الموثقة لحالة الاستخدام الخاصة بك
حالات استخدام Ling
- استدلال LLM مستضاف ذاتيًا
- بحث في مساعدة الترميز
- ضبط مخصص
- مهام السياق الطويل
