Seldon Core

الوصف

Seldon Core 2 هو إطار عمل شامل لـ MLOps و LLMOps مصمم لنشر وإدارة وتوسيع نطاق أنظمة الذكاء الاصطناعي داخل بيئات Kubernetes. يوفر نهجًا موحدًا لنشر أنواع نماذج متنوعة، سواء محليًا أو في أي سحابة، مما يضمن تطبيقات جاهزة للإنتاج فورًا. هذا الإطار فعال بشكل خاص في التعامل مع النماذج الفردية بالإضافة إلى التطبيقات المعقدة والمعيارية والمركزة على البيانات.

تمتد قدرات الإطار إلى بناء تطبيقات ذكاء اصطناعي قابلة للتركيب من خلال خطوط الأنابيب، والتي يمكنها الاستفادة من تقنيات مثل Kafka لتدفق البيانات في الوقت الفعلي بين المكونات المختلفة. يوفر ميزات توسع تلقائي قوية لكل من النماذج ومكونات التطبيق، مدفوعة بمنطق أصلي أو مخصص. لتحقيق كفاءة التكلفة، يدعم Seldon Core خدمة النماذج المتعددة، مما يسمح بدمج نماذج متعددة على خوادم استدلال مشتركة، ووظيفة التجاوز (overcommit) لنشر نماذج أكثر مما تسمح به الذاكرة المتاحة، مما يقلل تكاليف البنية التحتية للموارد غير المستغلة بالكامل.

يسهل Seldon Core أيضًا التجريب من خلال إمكانيات التوجيه الخاصة به، مما يتيح اختبارات A/B والنشر الظلي (shadow deployments) للنماذج أو خطوط الأنابيب المرشحة. يمكن للمستخدمين تنفيذ منطق مخصص، واكتشاف الانحرافات والخارجين عن المألوف، والتكامل مع نماذج اللغة الكبيرة (LLMs) من خلال مكونات مخصصة قابلة للتوصيل والتشغيل، مما يضمن التكامل السلس مع النظام البيئي الأوسع لمنتجات ML/AI من Seldon. يتأثر الإطار بالبحث في الجيل التالي من أطر عمل خدمة نماذج ML، بهدف معالجة المتطلبات الأساسية لخدمة النماذج المتقدمة.

تتم إدارة التثبيت والتكوين داخل Kubernetes، مع توفر وثائق شاملة للخوادم والنماذج وخطوط الأنابيب والتجارب وضبط الأداء. يتم توزيع Seldon Core بموجب شروط ترخيص المصدر التجاري (Business Source License)، مع ترخيص جميع المساهمات أيضًا بموجب هذا المصطلح. يتم تطوير المشروع بنشاط، مع وجود حضور مجتمعي قوي وتحديثات منتظمة، مما يجعله أداة قوية للمؤسسات التي تتطلع إلى تشغيل مبادرات الذكاء الاصطناعي الخاصة بها على نطاق واسع.

الميزات الأساسية لـ Seldon Core

• إطار عمل MLOps و LLMOps

• نشر أصلي لـ Kubernetes

• نشر نماذج موحد

• تطبيقات ذكاء اصطناعي معيارية ومركزة على البيانات

• خطوط أنابيب ذكاء اصطناعي قابلة للتركيب

• تدفق بيانات في الوقت الفعلي مع Kafka

• توسع تلقائي للنماذج والمكونات

• خدمة نماذج متعددة لكفاءة التكلفة

• تجاوز (Overcommit) لزيادة كثافة النماذج

• اختبارات A/B ونشر ظلي

• تكامل مكونات مخصصة (LLMs، اكتشاف الانحراف)

• جاهز للإنتاج فورًا

• دعم النشر المحلي والسحابي

كيفية استخدام Seldon Core؟

1. 1

   النشر: قم بتغليف ونشر نماذج التعلم الآلي وتطبيقات الذكاء الاصطناعي الخاصة بك على Kubernetes.

2. 2

   التكوين: قم بإعداد خطوط الأنابيب، والتوسع التلقائي، وتكوينات خدمة النماذج المتعددة.

3. 3

   التكامل: قم بدمج مكونات مخصصة للمنطق المتقدم ونماذج LLMs.

4. 4

   المراقبة: استخدم إمكانيات المراقبة المضمنة للأنظمة الإنتاجية.

5. 5

   الإدارة: قم بالإشراف على وإدارة آلاف نماذج التعلم الآلي الإنتاجية.

6. 6

   التحسين: قم بضبط الأداء وتجربة استراتيجيات توجيه نماذج مختلفة.

حالات استخدام Seldon Core

• نشر النماذج
• تنسيق تطبيقات الذكاء الاصطناعي
• الاستدلال في الوقت الفعلي
• تحسين التكلفة
• تجريب النماذج
• LLMOps
• الذكاء الاصطناعي المرتكز على البيانات

الأسئلة الشائعة من Seldon Core

• ما هو Seldon Core؟

  Seldon Core هو إطار عمل MLOps و LLMOps لتغليف ونشر ومراقبة وإدارة آلاف نماذج التعلم الآلي الإنتاجية وأنظمة الذكاء الاصطناعي على Kubernetes.

• ما هي الفوائد الرئيسية لاستخدام Seldon Core؟

  تشمل الفوائد الرئيسية النشر الموحد عبر السحابات، وبناء التطبيقات المعيارية، والتوسع التلقائي، وخدمة النماذج المتعددة الفعالة من حيث التكلفة، وقدرات التجريب المتقدمة.

• هل يمكن لـ Seldon Core التعامل مع تطبيقات الذكاء الاصطناعي المعقدة؟

  نعم، يدعم Seldon Core بناء تطبيقات ذكاء اصطناعي قابلة للتركيب من خلال خطوط الأنابيب والمكونات المخصصة، مما يتيح منطقًا معقدًا وتكامل LLMs.

• كيف يساعد Seldon Core في تحسين التكلفة؟

  يوفر خدمة نماذج متعددة لدمج النماذج على خوادم مشتركة ووظيفة التجاوز (overcommit) لنشر نماذج أكثر مما تسمح به الذاكرة المتاحة، مما يوفر تكاليف البنية التحتية.

• ما هي بيئات النشر التي يدعمها Seldon Core؟

  يدعم Seldon Core النشر المحلي أو في أي بيئة سحابية، مستفيدًا من Kubernetes للتنسيق.

• ما هو دور خطوط الأنابيب في Seldon Core؟

  تسمح خطوط الأنابيب للمستخدمين بنشر تطبيقات ذكاء اصطناعي قابلة للتركيب، مما يتيح تدفق البيانات في الوقت الفعلي بين المكونات، وغالبًا ما تستخدم Kafka.

• هل يدعم Seldon Core المنطق المخصص ونماذج LLMs؟

  نعم، يسمح بتنفيذ المنطق المخصص، واكتشاف الانحرافات والخارجين عن المألوف، والتكامل مع نماذج LLMs من خلال مكونات مخصصة قابلة للتوصيل والتشغيل.

• ما نوع ميزات التجريب المتاحة؟

  يدعم Seldon Core توجيه البيانات بين النماذج المرشحة أو خطوط الأنابيب، بما في ذلك اختبارات A/B والنشر الظلي.

• ما هو ترخيص Seldon Core؟

  يتم توزيع Seldon Core بموجب شروط ترخيص المصدر التجاري (Business Source License).

• ما هي لغات البرمجة المستخدمة في Seldon Core؟

  اللغة الأساسية المستخدمة في مستودع Seldon Core هي Go، مع استخدام كبير لـ Jupyter Notebooks و Kotlin.