NVIDIA Run:ai

الوظيفة الأساسية للمنصة هي تخصيص الموارد الديناميكي: حيث تقوم بتجميع سعة وحدات معالجة الرسوميات عبر البيئات وتطابق الموارد مع طلب أحمال العمل في الوقت الفعلي، مما يعني أن وقت وحدة معالجة الرسوميات غير المستخدم في مشروع واحد يمكن استخدامه في مشروع آخر. توجد محرك سياسات فوق هذه التجميع، مما يسمح للمنظمة بتشغيل أحمال العمل عبر الأقسام والمشاريع والفرق مع حوكمة مركزية مدفوعة بالسياسات تحدد من يحصل على وصول موثوق ومُعطى الأولوية إلى موارد وحدات معالجة الرسوميات. تدعم Run:ai السحابة العامة، السحابة الخاصة، البيئات الهجينة ومراكز البيانات المحلية، وهي مصممة بهيكلية مفتوحة، تركز على واجهة برمجة التطبيقات، مما يسهل التكامل مع الأطر الرئيسية للذكاء الاصطناعي، أدوات التعلم الآلي والأنظمة الخارجية بدلاً من قفل الفريق في مجموعة واحدة.

تشير NVIDIA إلى معايير البائعين التي تصل إلى 10 أضعاف توفر وحدات معالجة الرسوميات، و20 ضعفًا من أحمال العمل التي تعمل، و5 أضعاف استخدام وحدات معالجة الرسوميات من العملاء الذين يستخدمون الجدولة الديناميكية والتنظيم، على الرغم من أن المكاسب الدقيقة ستختلف حسب البيئة ومزيج أحمال العمل. بالإضافة إلى الجدولة الأساسية، يتم وصف الإصدار الحالي من Run:ai (v2.25 كما هو موضح في صفحة المنتج) بأنه يحقق تقدمًا في منصة موحدة لبناء وتشغيل أنظمة الذكاء الاصطناعي على نطاق الإنتاج، بما في ذلك تنظيم أحمال العمل الموزعة وتوسيع الاستدلال مع مزيد من الرؤية والتحكم.

توجد عدة مكونات مفتوحة المصدر: KAI Scheduler هو جدولة Kubernetes مفتوحة المصدر لأحمال العمل الخاصة بالذكاء الاصطناعي، مبنية على Run:ai ومكونة من خلال ملفات YAML بسيطة، موجهة للمطورين والفرق الصغيرة. Grove تربط بين أطر استدلال الذكاء الاصطناعي وجدولة Kubernetes لنشر مدرك للتوبولوجيا، ويمكن تشغيلها بشكل مستقل أو بجانب أطر استدلال أخرى. Run:ai Model Streamer هو مجموعة أدوات تطوير برمجيات Python مع خلفية C++ تقرأ موترات النماذج بشكل متزامن من التخزين وتبثها مباشرة إلى ذاكرة وحدة معالجة الرسوميات، مما يقلل من أوقات تحميل النموذج في أحمال العمل الاستدلالية من دقائق إلى ثوان.

تم دمج NVIDIA Run:ai الآن في NVIDIA AI Enterprise ويعزز أيضًا الجدولة داخل NVIDIA Mission Control، منصة عمليات الذكاء الاصطناعي الأوسع من NVIDIA. تم تصميمها لفرق منصة التعلم الآلي والبنية التحتية في المؤسسات التي تدير مجموعات وحدات معالجة الرسوميات المشتركة على نطاق واسع، بدلاً من مطور فردي يقوم بتدريب نموذج على جهازه الخاص؛ يتطلب اعتمادها وجود بنية تحتية قائمة على Kubernetes أو مدعومة من NVIDIA لتنظيمها. لم يتم نشر الأسعار ويتم التعامل معها من خلال المبيعات المباشرة أو الشركاء.