الوصف
Ling-3.0-tiny هو نموذج تفكير هجين خفيف الوزن تم تطويره بواسطة inclusionAI، ومُستضاف على Hugging Face. يحتوي على إجمالي 7.9 مليار معلمة، مع تفعيل 1.3 مليار فقط لكل توكن، مما يجعله فعالًا للنشر المحلي والبيئات ذات الموارد المحدودة. يدمج النموذج تكديسًا متناوبًا بنسبة 3:1 من طبقات Kimi Delta Attention (KDA) وMulti-Head Latent Attention (MLA)، بالإضافة إلى شبكة تغذية أمامية (FFN) من نوع Mixture of Experts (MoE) تحتوي على 128 خبيرًا موجهًا. تسمح هذه البنية للنموذج بالتوازن بين القدرة على نمذجة السياقات الطويلة، وكفاءة المعلمات، وتكلفة الحساب.
قراءة المزيد
تم تصميم Ling-3.0-tiny لتقديم قدرات تفكير قوية وقدرات وكيل بتكلفة استدلال منخفضة. يدعم كل من الاستجابات السريعة والتفكير متعدد الخطوات، مع وضع تفكير قابل للتكوين. تم التحقق من النموذج على أجهزة مختلفة، بما في ذلك NVIDIA DGX Spark وApple Silicon MacBook، مما يمكّن من التفكير القادر وأعباء العمل الوكيلة دون الحاجة إلى وحدات معالجة الرسوميات من فئة مراكز البيانات. مع FP8، يحقق حوالي 100-105 توكن في الثانية على DGX Spark و86-90 توكن في الثانية على MacBook M4 Pro، مع استخدام ذروة للذاكرة حوالي 8.34 جيجابايت عند طول سياق 8K.
تُبرز كفاءة النموذج من خلال أدائه على مؤشر الذكاء الاصطناعي لتحليل الذكاء الإصطناعي v4.1.1، حيث سجل 25، وعلى مؤشر الذكاء الاصطناعي الوكيلة، حيث سجل 16. يصل إلى سرعة إخراج تزيد عن 160 توكن في الثانية، مع حوالي 18 ثانية من زمن الانتظار من البداية إلى النهاية لاستجابة مكونة من 500 توكن. Ling-3.0-tiny مناسب لمجموعة واسعة من المهام، بما في ذلك المهام الوكيلة، والترميز، وفهم السياقات الطويلة، وموثوقية المعرفة، والتفكير الرياضي والعلمي، واتباع التعليمات.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمجاني مع ميزات مدفوعة
- النشريعمل محليًا
- المنصاتالويب
أبرز ملامح Ling-3.0-tiny
7.9 مليار معلمة إجمالية
1.3 مليار معلمة مفعلة لكل توكن
قدرات تفكير هجينة
نشر محلي فعال
بنية KDA-MLA بنسبة 3:1
شبكة FFN من نوع MoE مع 128 خبيرًا
يدعم استجابات سريعة والتفكير متعدد الخطوات
تم التحقق منه على NVIDIA DGX Spark وApple Silicon
البدء مع Ling-3.0-tiny
الوصول إلى صفحة النموذج: زيارة Hugging Face
المصادقة: تسجيل الدخول إلى حسابك
التكوين: إعداد معلمات النموذج
إرسال المطالبات: استخدام النموذج للاستدلال
التعديل الدقيق: ضبط الإعدادات لمهام محددة
حالات استخدام Ling-3.0-tiny
- المهام الوكيلة
- الترميز
- التفكير العلمي
- اتباع التعليمات
- النشر المحلي
