نموذج كيمي-K2-تعليم

الوصف

نموذج كيمي-K2-تعليم هو نموذج لغوي متقدم يعتمد على مزيج من الخبراء (MoE) تم تطويره بواسطة moonshotai، ويتميز بـ 32 مليار معلمة مفعلة وإجمالي 1 تريليون معلمة. تم تحسين هذا النموذج لمهام الذكاء الاصطناعي عالية المستوى، بما في ذلك التفكير، والترميز، وحل المشكلات بشكل مستقل. تم تدريبه باستخدام مُحسّن موون، الذي يضمن الاستقرار والكفاءة أثناء التدريب على نطاق واسع باستخدام 15.5 تريليون رمز. النموذج مناسب بشكل خاص لتجارب الدردشة العامة والتجارب الوكيلة، مما يجعله أداة متعددة الاستخدامات للمطورين والباحثين.

تتضمن بنية كيمي-K2-تعليم 61 طبقة، مع طبقة كثيفة وأبعاد خفية للانتباه تبلغ 7168. يستخدم 64 رأس انتباه و384 خبيرًا، مع 8 خبراء مختارين لكل رمز. حجم المفردات هو 160K، ويدعم طول سياق يبلغ 128K. يستخدم النموذج دالة تنشيط SwiGLU وآلية انتباه MLA.

أظهر كيمي-K2-تعليم أداءً مثيرًا للإعجاب عبر مجموعة متنوعة من المعايير. على سبيل المثال، حقق درجة Pass@1 تبلغ 53.7 على LiveCodeBench v6 و27.1 على OJBench. كما يتفوق في مهام الترميز الوكيلة متعددة اللغات، حيث حصل على درجة 47.3 في معيار SWE-bench متعدد اللغات. تسلط هذه النتائج الضوء على قدرته في التعامل مع مهام الترميز والتفكير المعقدة.

تسهّل عملية نشر كيمي-K2-تعليم من خلال واجهة برمجة التطبيقات المتاحة على منصة moonshot.ai، المتوافقة مع معايير OpenAI وAnthropic. يدعم النموذج مجموعة متنوعة من محركات الاستدلال، بما في ذلك vLLM وSGLang وKTransformers وTensorRT-LLM. يتم إصدار أوزان النموذج بموجب ترخيص MIT المعدل، مما يضمن إمكانية الوصول لمزيد من التطوير والتخصيص.

بشكل عام، يعد كيمي-K2-تعليم نموذج ذكاء اصطناعي قوي مصمم للتطبيقات المتقدمة، حيث يقدم مرونة وأداءً عاليًا لمجموعة واسعة من المهام المدفوعة بالذكاء الاصطناعي.

أبرز ملامح نموذج كيمي-K2-تعليم

• 32 مليار معلمة مفعلة

• 1 تريليون معلمة إجمالية

• مُحسّن موون للاستقرار

• بنية مزيج من الخبراء

• حجم مفردات 160K

• طول سياق 128K

• دالة تنشيط SwiGLU

• آلية انتباه MLA

• يدعم قدرات استدعاء الأدوات

• واجهة برمجة تطبيقات متوافقة مع OpenAI/Anthropic

• ترخيص MIT المعدل

• أداء قوي في مهام الترميز

• دعم الترميز الوكيل متعدد اللغات

• يدعم vLLM وSGLang وKTransformers وTensorRT-LLM

• نموذج دردشة مستقل

البدء مع نموذج كيمي-K2-تعليم

1. 1

   الوصول إلى الصفحة: زيارة صفحة نموذج Hugging Face

2. 2

   تحميل النموذج: تنزيل ودمج كيمي-K2-تعليم

3. 3

   تكوين البيئة: إعداد محركات الاستدلال المتوافقة

4. 4

   الدمج: استخدام واجهة برمجة التطبيقات للنشر

5. 5

   التخصيص: تخصيص النموذج لمهام محددة

حالات استخدام نموذج كيمي-K2-تعليم

• الترميز المتقدم
• الدعم متعدد اللغات
• دمج الأدوات
• بحث الذكاء الاصطناعي
• تطبيقات الدردشة

الأسئلة الشائعة من نموذج كيمي-K2-تعليم

• ما هو كيمي-K2-تعليم؟

  كيمي-K2-تعليم هو نموذج لغوي يعتمد على مزيج من الخبراء مصمم لمهام الذكاء الاصطناعي المتقدمة مثل التفكير والترميز.

• كم عدد المعلمات التي يمتلكها كيمي-K2-تعليم؟

  يتميز بـ 32 مليار معلمة مفعلة وإجمالي 1 تريليون معلمة.

• ما هو المُحسّن المستخدم في كيمي-K2-تعليم؟

  يستخدم النموذج مُحسّن موون لاستقرار التدريب وكفاءته.

• ما هي الميزات الرئيسية لكيمي-K2-تعليم؟

  تشمل الميزات الرئيسية حجم مفردات كبير، وطول سياق مرتفع، وقدرات متقدمة لاستدعاء الأدوات.

• هل كيمي-K2-تعليم مفتوح المصدر؟

  نعم، تم إصداره بموجب ترخيص MIT المعدل.

• في أي معايير يتفوق كيمي-K2-تعليم؟

  يؤدي بشكل جيد في مهام الترميز والترميز الوكيل متعدد اللغات، من بين أمور أخرى.

• ما هي محركات الاستدلال المتوافقة مع كيمي-K2-تعليم؟

  تشمل المحركات المتوافقة vLLM وSGLang وKTransformers وTensorRT-LLM.

• كيف يمكنني نشر كيمي-K2-تعليم؟

  يمكن النشر عبر واجهة برمجة التطبيقات المتاحة على منصة moonshot.ai.