الوصف
انضمت KServe إلى CNCF، مما عزز مكانتها كمعيار مفتوح المصدر للاستدلال الذاتي للذكاء الاصطناعي. توفر هذه المنصة الأصلية لـ Kubernetes حلاً موحداً لكل من الذكاء الاصطناعي التوليدي والذكاء الاصطناعي التنبؤي، وهي مصممة لتكون بسيطة بما يكفي لعمليات النشر السريعة وقوية بما يكفي لأعباء العمل على مستوى المؤسسات.
قراءة المزيد
بالنسبة للذكاء الاصطناعي التوليدي، تقدم KServe واجهات خلفية محسّنة مثل vLLM و llm-d لخدمة نماذج LLM عالية الأداء. تتميز ببروتوكول متوافق مع OpenAI للتكامل السلس، وتسريع وحدة معالجة الرسومات (GPU) مع إدارة محسّنة للذاكرة، وتخزين مؤقت للنماذج لتقليل أوقات التحميل. تشمل القدرات المتقدمة تفريغ ذاكرة التخزين المؤقت KV للتعامل مع التسلسلات الأطول، والتوسع التلقائي المستند إلى الطلبات والمُعدّ خصيصًا لأعباء عمل التوليد، ودعم أصلي لنماذج Hugging Face لتبسيط عملية النشر.
في مجال الذكاء الاصطناعي التنبؤي، تدعم KServe مجموعة واسعة من الأطر بما في ذلك TensorFlow و PyTorch و scikit-learn و XGBoost و ONNX. إنها تتيح التوجيه الذكي بين مكونات المتنبئ والمحول والمفسر، وتسهل عمليات النشر المتقدمة مثل عمليات الإطلاق التدريجي (canary rollouts) وخطوط الأنابيب (pipelines) والمجموعات (ensembles) باستخدام InferenceGraph. يُعد التوسع التلقائي، بما في ذلك التوسع إلى الصفر (scale-to-zero) لأعباء عمل التنبؤ، ميزة رئيسية، إلى جانب قابلية تفسير النماذج المدمجة لفهم منطق التنبؤ والمراقبة المتقدمة لتسجيل الحمولة، واكتشاف القيم الشاذة، والتهديدات، والانحرافات. يتم تعزيز كفاءتها من حيث التكلفة من خلال قدرات التوسع إلى الصفر على الموارد باهظة الثمن عندما لا تكون قيد الاستخدام.
توفر KServe واجهة برمجة تطبيقات (API) بسيطة وقوية من خلال تعريف مورد مخصص (CRD) لـ Kubernetes لخدمة نماذج التعلم الآلي. إنها تجرد تعقيدات التوسع التلقائي والشبكات وفحص الصحة وتكوين الخادم، مما يجلب ميزات خدمة متطورة إلى عمليات نشر التعلم الآلي. تضمن المنصة واجهة برمجة تطبيقات Kubernetes قياسية عبر أطر عمل التعلم الآلي، وتدعم المعالجة المسبقة/اللاحقة وقابلية التفسير، وتقدم دعمًا لمواصفات OpenAI لنماذج LLM، إلى جانب عمليات الإطلاق التدريجي واختبار A/B للاستدلال.
تتكون البنية من مستوى تحكم (Control Plane) يدير دورة حياة نماذج التعلم الآلي، بما في ذلك تتبع المراجعات واختبار A/B، ومستوى بيانات (Data Plane) يوفر بروتوكول استدلال موحد لخوادم النماذج مع واجهات برمجة تطبيقات للطلب/الاستجابة. مورد Kubernetes الأساسي هو InferenceService، الذي يبسط نشر نماذج التعلم الآلي مع التوسع التلقائي والشبكات وفحوصات الصحة. يتيح InferenceGraph عمليات نشر متقدمة مع خطوط الأنابيب والمجموعات وسير عمل النماذج المتعددة. تثق الشركات الرائدة في الصناعة بـ KServe للاستدلال الموثوق للذكاء الاصطناعي على نطاق واسع.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرمفتوح المصدر
- النشرأصلي لـ Kubernetes
- المنصاتالويب
الميزات الأساسية لـ KServe
منصة أصلية لـ Kubernetes للاستدلال الذكي
خدمة موحدة للذكاء الاصطناعي التوليدي والتنبؤي
بروتوكول متوافق مع OpenAI لنماذج LLM
تسريع وحدة معالجة الرسومات (GPU) وإدارة محسّنة للذاكرة
تخزين مؤقت للنماذج وتفريغ ذاكرة التخزين المؤقت KV
توسع تلقائي مستند إلى الطلبات لأعباء عمل التوليد
دعم أصلي لنماذج Hugging Face
دعم أطر عمل متعددة (TensorFlow, PyTorch, scikit-learn, XGBoost, ONNX)
توجيه ذكي للمتنبئات والمحولات والمفسرات
عمليات نشر متقدمة مع InferenceGraph (خطوط أنابيب، مجموعات)
توسع تلقائي إلى الصفر لأعباء عمل التنبؤ
قابلية تفسير النماذج المدمجة وتحديد سمات الميزات
مراقبة متقدمة (تسجيل الحمولة، اكتشاف القيم الشاذة، التهديدات، الانحرافات)
واجهة برمجة تطبيقات Kubernetes قياسية عبر أطر عمل التعلم الآلي
عمليات إطلاق تدريجي واختبار A/B للاستدلال
كيفية استخدام KServe؟
تثبيت KServe: نشر KServe وتوابعه على مجموعة Kubernetes الخاصة بك.
إنشاء InferenceService: تحديد تكوين YAML بسيط لنشر نموذج مُدرب مسبقًا.
تكوين المتنبئ: تحديد تنسيق النموذج، والموارد (CPU، الذاكرة، GPU)، وعنوان URI للتخزين.
إرسال طلبات الاستدلال: إجراء تنبؤات باستخدام النموذج المنشور عبر استدعاءات API.
حالات استخدام KServe
- خدمة نماذج LLM
- نشر النماذج التنبؤية
- الاستدلال الذكي على نطاق واسع
- قابلية تفسير النماذج
- استراتيجيات النشر المتقدمة
- الذكاء الاصطناعي الفعال من حيث التكلفة
- التكامل مع نماذج Hugging Face
