Bento

Bento поддерживает развертывание широкого спектра моделей, включая популярные опенсорсные варианты, такие как Llama 4, DeepSeek, Ling/Ring, Flux, Qwen и GPT-OSS, через свой каталог открытых моделей (Open Model Catalog). Он также предлагает унифицированную структуру для упаковки и развертывания пользовательских моделей любой архитектуры, фреймворка или модальности, включая дообученные опенсорсные модели и проприетарные пользовательские модели. Платформа автоматизирует процессы развертывания и CI/CD, обеспечивает комплексную наблюдаемость, детальный контроль доступа и отслеживание ресурсов/квот.

Для эффективного масштабирования Bento оснащена движком Bento Compute Engine, который обеспечивает интеллектуальное управление ресурсами для оптимального использования вычислительных мощностей. Он поддерживает межрегиональное масштабирование, эластичное автоматическое масштабирование, ускорение холодного старта, оркестрацию вычислений в мультиоблаке и возможности масштабирования до нуля. Пользователи имеют полный контроль над своей инфраструктурой и средой развертывания, с возможностью развертывания в собственном облаке, на локальных Kubernetes или использования Bento Cloud для доступа к передовому оборудованию GPU без хлопот с закупками, включая GPU Nvidia, GPU AMD и B200, H100, MI300X.

Bento ускоряет путь к продакшену для AI-приложений, предоставляя разработчикам все необходимое для создания, доставки и масштабирования AI-инференса. Это включает Dev Codespace для быстрой облачной итерации, LLM Gateway для унифицированного интерфейса ко всем поставщикам LLM с централизованным контролем затрат и оптимизированные операции с полным управлением жизненным циклом развертывания, контролем версий, отката и A/B-тестированием. Полная наблюдаемость достигается за счет комплексного мониторинга вычислительных ресурсов, производительности и метрик, специфичных для LLM.

Платформа создана для обеспечения корпоративной безопасности, соответствия требованиям и операционных возможностей, гарантируя надежность с помощью SLA по производительности, круглосуточного мониторинга, гарантий бесперебойной работы и автоматического переключения при сбое. Bento также предлагает Forward Deployed Engineering с выделенными техническими экспертами, исследованиями в области оптимизации инференса и непрерывным бенчмаркингом. Суверенитет данных сохраняется благодаря полному контролю над пользовательскими данными. BentoML теперь является частью Modular.