الوصف
Inkling 2 Mini هو نموذج متعدد الوسائط مصمم لمعالجة كل من مدخلات النص والصورة، ومن ثم توليد مخرجات نصية. تم تطويره بواسطة Thinking Machines Lab, Inc.، هذا النموذج مصمم للاستخدام الواسع، ويدعم اللغة الإنجليزية ولغات أخرى، بالإضافة إلى عدة لغات برمجة. إنه مناسب بشكل خاص للمطورين المشاركين في إنشاء تطبيقات مدعومة بالذكاء الاصطناعي، بما في ذلك الأنظمة الوكيلة وأنظمة استخدام الأدوات، مساعدي البرمجة، الدردشة، وأنظمة التوليد المعززة بالاسترجاع (RAG). علاوة على ذلك، فإنه قادر على الاستخدام العام في المحادثات، اتباع التعليمات، وأداء مهام اللغة الطبيعية والرؤية.
قراءة المزيد
تم إصدار النموذج مع أوزان مفتوحة بموجب ترخيص Apache 2.0، مما يشجع على البحث، والتعديل، والتكامل في المنتجات التابعة من قبل المطورين. يتم توزيعه كنقطة تفتيش واحدة بحجم حوالي 20 جيجابايت، باستخدام دقة مختلطة NVFP4 وMXFP8. يسمح هذا الحجم المدمج بالتفسير المحلي على الأجهزة المتوافقة، بما في ذلك 1x NVIDIA DGX Spark، وأجهزة Apple silicon مع 32 جيجابايت أو أكثر من الذاكرة (MacBooks، Mac minis، Studios)، وGPUs أخرى مع 32 جيجابايت أو أكثر من VRAM موصى بها.
يدعم Inkling 2 Mini التفسير المحلي من خلال عدة أطر عمل، بما في ذلك Hugging Face، SGLang، vLLM، TokenSpeed، NVIDIA Dynamo، Unsloth (بما في ذلك إصدارات GGUF الكمية)، llama.cpp (لإصدارات GGUF الكمية)، Llama App، Ollama، وExo Labs (على Apple silicon). يمكن أيضًا تدريبه بعد ذلك باستخدام Miles وSkyRL. يتميز النموذج بهندسة محول مكونة من 24 طبقة فقط من فك التشفير مع طبقات تغذية أمامية مختلطة من الخبراء (MoE). تعمل الطبقات الوسطى الـ 12 ثلاث مرات مع أوزان مشتركة، مما يوفر بشكل فعال 48 تطبيق طبقة لكل توكن من 24 طبقة من الأوزان. تقوم كل طبقة بتوجيه التوكنات إلى 8 من 128 خبيرًا، والانتباه هو مزيج من الطبقات المحلية والعالمية. يتم ترميز الصور عبر محول رؤية، مع إدخال الصورة والنص في مساحة خفية مشتركة لمعالجتها بشكل مشترك بواسطة فك التشفير. يحتوي النموذج على 26.4 مليار معلمة، مع 3.4 مليار معلمة نشطة، ويدعم نافذة سياق تصل إلى 1 مليون توكن.
تشمل بيانات التدريب لـ Inkling 2 Mini مجموعة واسعة من أنواع المحتوى، بما في ذلك النصوص، الصور، والفيديو، المستمدة من مستودعات متاحة للجمهور، وعمليات الاستحواذ من طرف ثالث، والتوليد الداخلي، والتعزيز الاصطناعي. تتضمن تنسيق البيانات تنظيف ومعالجة وتعديل مجموعات البيانات، بما في ذلك إزالة التكرار والتصفية من أجل الجودة والسلامة. تم إجراء تقييمات السلامة، تغطي التفاعل اليومي بين الإنسان والذكاء الاصطناعي واختبار القدرات الخطرة، مع تطبيق التخفيفات من خلال تدريب المحاذاة. تشمل قيود النموذج إمكانية الهلوسة، وفشل أحيانًا في اتباع التعليمات، وانخفاض الأداء في المحادثات الطويلة، والتحيزات الناتجة عن بيانات التدريب. إنه أقل قدرة من النماذج الأكبر في استرجاع الحقائق والأسئلة التي تتطلب معرفة، وقد يظهر تفكيرًا متكررًا أو عدم موثوقية وكيلة، خاصة في اللغات غير الإنجليزية. يُنصح المطورون بتطبيق إشراف بشري، وتشغيل أحمال العمل الوكيلة في صناديق الرمل، وإجراء تقييمات مستقلة قبل النشر.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشريعمل محليًا
- المنصاتالويب
أبرز ملامح Inkling 2 Mini
مدخلات متعددة الوسائط: يقبل كل من مدخلات النص والصورة للمعالجة.
توليد مخرجات نصية: ينتج مخرجات نصية بناءً على المدخلات متعددة الوسائط.
نموذج عام الاستخدام: مصمم لمجموعة واسعة من التطبيقات والمهام.
دعم متعدد اللغات: يعمل باللغة الإنجليزية ولغات أخرى.
دعم لغات برمجة متعددة: متوافق عبر بيئات البرمجة المختلفة.
إصدار أوزان مفتوحة: متاح للتنزيل والاستخدام مع أوزان مفتوحة.
ترخيص Apache 2.0: يوفر مرونة للبحث، والتعديل، والتكامل.
موجه للمطورين: مخصص لبناء تطبيقات مدعومة بالذكاء الاصطناعي.
دعم الأنظمة الوكيلة: مناسب لتطوير الأنظمة الوكيلة وأنظمة استخدام الأدوات.
قدرة مساعد البرمجة: يمكن استخدامه لإنشاء مساعدي البرمجة.
تكامل الدردشة: يسهل تطوير الدردشة.
أنظمة التوليد المعززة بالاسترجاع (RAG): يدعم إنشاء أنظمة RAG.
قدرة التفسير المحلي: يمكن تشغيله على حوسبة الذكاء الاصطناعي المحلية مع الأجهزة المحددة.
دعم إطار عمل واسع: متوافق مع Hugging Face، SGLang، vLLM، والمزيد.
خيارات ما بعد التدريب: يمكن تدريبه بعد ذلك باستخدام Miles وSkyRL.
نافذة سياق كبيرة: يدعم حتى 1 مليون توكن.
البدء مع Inkling 2 Mini
تحميل أوزان النموذج: الوصول إلى وتحميل أوزان Inkling 2 Mini من Hugging Face.
الوصول عبر منصة Tinker: استخدام منصة Tinker للتعديل للوصول إلى API والتفاعل مع النموذج.
تثبيت محركات Tinker: تثبيت حزمة tml-renderers لتكامل منصة Tinker.
تكوين الأجهزة المحلية: التأكد من توفر الأجهزة المطلوبة (مثل NVIDIA DGX Spark، Apple silicon مع ذاكرة 32 جيجابايت أو أكثر).
تثبيت أطر العمل البرمجية: إعداد أطر العمل المدعومة للتفسير المحلي مثل Hugging Face، SGLang، أو llama.cpp.
تشغيل التفسير: تنفيذ النموذج محليًا باستخدام الأطر المختارة لتوليد النص من مدخلات الصورة والنص.
حالات استخدام Inkling 2 Mini
- تطوير تطبيقات الذكاء الاصطناعي
- إنشاء الأنظمة الوكيلة
- أدوات مساعد البرمجة
- تنفيذ الدردشة
- التوليد المعزز بالاسترجاع
- الذكاء الاصطناعي المحادثاتي العام
- معالجة اللغة الطبيعية
- معالجة المهام البصرية
- تعديل النموذج
- تكامل المنتجات التابعة







