Bento

تدعم Bento نشر مجموعة واسعة من النماذج، بما في ذلك الخيارات مفتوحة المصدر الشائعة مثل Llama 4، و DeepSeek، و Ling/Ring، و Flux، و Qwen، و GPT-OSS، من خلال كتالوج النماذج المفتوح الخاص بها. كما توفر إطار عمل موحد لتعبئة ونشر النماذج المخصصة لأي بنية أو إطار عمل أو وسيط، بما في ذلك النماذج مفتوحة المصدر المضبوطة بدقة والنماذج المخصصة الخاصة. تقوم المنصة بأتمتة عمليات النشر و CI/CD، وتوفر رؤية شاملة، وتحكمًا دقيقًا في الوصول، وتتبعًا للموارد/الحصص.

للتوسع الفعال، تتميز Bento بمحرك Bento Compute Engine، الذي يوفر إدارة ذكية للموارد لتحقيق الاستخدام الأمثل للحوسبة. تدعم التوسع عبر المناطق، والتوسع التلقائي المرن، وتسريع البدء البارد، وتنسيق الحوسبة متعددة السحابات، وقدرات التوسع إلى الصفر. يتمتع المستخدمون بتحكم كامل في بنيتهم التحتية وبيئة النشر الخاصة بهم، مع خيارات للنشر على سحابتهم الخاصة، أو Kubernetes المحلية، أو الاستفادة من Bento Cloud للوصول إلى أحدث أجهزة GPU دون متاعب الشراء، بما في ذلك Nvidia GPUs، و AMD GPUs، و B200، و H100، و MI300X.

تسرّع Bento المسار إلى الإنتاج لتطبيقات الذكاء الاصطناعي من خلال تزويد المطورين بكل ما يحتاجونه لبناء وشحن وتوسيع نطاق استدلال الذكاء الاصطناعي. يشمل ذلك Dev Codespace للتكرار السحابي السريع، و LLM Gateway لواجهة موحدة لجميع مزودي LLM مع تحكم مركزي في التكاليف، وعمليات مبسطة مع إدارة كاملة لدورة حياة النشر، والتحكم في الإصدارات، والتراجعات، واختبار A/B. يتم تحقيق الرؤية الكاملة من خلال المراقبة الشاملة للحوسبة والأداء والمقاييس الخاصة بـ LLM.

تم بناء المنصة لتلبية متطلبات الأمان والامتثال والتشغيل على مستوى المؤسسات، مما يضمن الموثوقية مع اتفاقيات مستوى الخدمة للأداء، والمراقبة على مدار الساعة طوال أيام الأسبوع، وضمانات وقت التشغيل، والفشل التلقائي. تقدم Bento أيضًا هندسة نشر استباقية مع خبراء تقنيين متخصصين، وأبحاث تحسين الاستدلال، والمقارنة المستمرة. يتم الحفاظ على سيادة البيانات من خلال التحكم الكامل في بيانات المستخدم. BentoML هو الآن جزء من Modular.