الوصف
DeepSeek-V3 هو نموذج لغة كبير تم إصداره من قبل DeepSeek AI كهيكل Mixture-of-Experts (MoE): 671 مليار معلمة إجمالية، مع تفعيل 37 مليار فقط لأي توكن معين، مما يجعل الاستدلال أقل تكلفة من تشغيل العدد الكامل من المعلمات في كل طلب. يعتمد على الهيكل الذي تم تقديمه في DeepSeek-V2، حيث يحمل معه Multi-head Latent Attention وتصميم DeepSeekMoE، ويضيف استراتيجية توازن الحمل بدون خسارة إضافية عبر الخبراء، والتي تقول الفريق إنها تقلل من تكلفة الأداء التي عادة ما تأتي مع توازن الحمل.
قراءة المزيد
استخدم التدريب 14.8 تريليون توكن من بيانات التدريب المسبق، تلاه مراحل التعديل الدقيق تحت الإشراف والتعلم المعزز. تشير DeepSeek إلى أن تكلفة تشغيل التدريب الكامل كانت حوالي 2.664 مليون ساعة GPU من نوع H800، مع إضافة مراحل التدريب اللاحقة حوالي 0.1 مليون ساعة أخرى، ليكون الإجمالي حوالي 2.788 مليون ساعة GPU، وتصف عملية التدريب بأنها مستقرة، دون ارتفاعات خسارة غير قابلة للاسترداد أو تراجعات. جزء من تلك الكفاءة يأتي من إطار تدريب مختلط الدقة FP8 الذي تم التحقق منه على هذا النطاق، إلى جانب العمل الهندسي لتقليل الحمل الاتصالي عبر عقد GPU أثناء تدريب Mixture-of-Experts. خطوة منفصلة بعد التدريب تقوم بتقطير سلوك الاستدلال من DeepSeek-R1، وهو نموذج طويل السلسلة من التفكير في مجموعة DeepSeek، إلى DeepSeek-V3، بهدف تحسين استدلاله مع الحفاظ على نمط مخرجاته تحت السيطرة.
يدعم DeepSeek-V3 طول سياق يبلغ 128K، وعلى المعايير التي تنشرها DeepSeek، يؤدي بشكل مقارن مع النماذج الرائدة المغلقة المصدر بينما يتفوق على النماذج مفتوحة المصدر الأخرى التي تمت مقارنتها بها. يمكن تنزيل النموذج ونقطة التحقق الأساسية له، DeepSeek-V3-Base، من Hugging Face.
بالنسبة لأي شخص لا يرغب في الاستضافة الذاتية، تدير DeepSeek موقع دردشة حيث يمكن استخدام النموذج مباشرة. لدعم الاستضافة الذاتية، يتم دعم DeepSeek-V3 بواسطة عدة محركات استدلال مفتوحة المصدر، بما في ذلك SGLang وvLLM وLMDeploy وTensorRT-LLM، مع تمكين SGLang أيضًا من النشر على وحدات معالجة الرسوميات AMD. يتطلب تشغيل نص استدلال العرض التجريبي محليًا نظام Linux مع Python 3.10 (لا يتم دعم Mac وWindows لهذا المسار) وللنموذج الكامل، ذاكرة GPU كافية مجمعة عبر عدة آلات لاستيعاب 671 مليار معلمة. تم إصدار الشيفرة بموجب ترخيص MIT، بينما تحمل أوزان النموذج اتفاقية ترخيص نموذج منفصلة. هذا نموذج للمطورين والباحثين الذين لديهم البنية التحتية لخدمة نموذج كبير مفتوح الوزن، وليس تطبيقًا استهلاكيًا جاهزًا للاستخدام.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشراستضافة ذاتية
- المنصاتLinux
الميزات الأساسية لـ DeepSeek-V3
نموذج Mixture-of-Experts يحتوي على 671 مليار معلمة مع تفعيل 37 مليار معلمة لكل توكن
تم نقل وتحسين Multi-head Latent Attention وهيكل DeepSeekMoE من DeepSeek-V2
استراتيجية توازن الحمل بدون خسارة إضافية عبر الخبراء
هدف تدريب توقع متعدد التوكنات، يمكن استخدامه أيضًا للتشفير التخميني أثناء الاستدلال
إطار تدريب مختلط الدقة FP8 تم التحقق منه على نطاق واسع
طول سياق يبلغ 128K
تقطير سلوك الاستدلال بعد التدريب من DeepSeek-R1 إلى النموذج الأساسي
مدعوم من محركات استدلال مفتوحة المصدر الرئيسية: SGLang وvLLM وLMDeploy وTensorRT-LLM، بالإضافة إلى وحدات معالجة الرسوميات AMD عبر SGLang
البدء مع DeepSeek-V3
جربه عبر الإنترنت: دردش مع DeepSeek-V3 على موقع دردشة DeepSeek دون الحاجة لتثبيت أي شيء
قم بتنزيل الأوزان: احصل على DeepSeek-V3 أو DeepSeek-V3-Base من Hugging Face
اختر محرك استدلال: اختر SGLang أو vLLM أو LMDeploy أو TensorRT-LLM بناءً على عتادك
قم بتحويل الأوزان إذا لزم الأمر: قم بتشغيل نص التحويل المقدم لمسار الاستدلال التجريبي
قم بتشغيل النموذج: أطلق الاستدلال عبر عدد كافٍ من وحدات معالجة الرسوميات، وللنموذج الكامل، عبر عدة عقد
حالات استخدام DeepSeek-V3
- نشر LLM ذاتي الاستضافة
- بحث في هيكل MoE
- خدمة استدلال عالية الإنتاجية
