Bento

Bento prend en charge le déploiement d'une large gamme de modèles, y compris des options open-source populaires comme Llama 4, DeepSeek, Ling/Ring, Flux, Qwen et GPT-OSS, via son catalogue de modèles ouverts (Open Model Catalog). Elle offre également un cadre unifié pour l'empaquetage et le déploiement de modèles personnalisés de toute architecture, framework ou modalité, y compris les modèles open-source affinés (fine-tuned) et les modèles propriétaires personnalisés. La plateforme automatise les processus de déploiement et de CI/CD, fournit une observabilité complète, un contrôle d'accès granulaire et un suivi des ressources/quotas.

Pour une mise à l'échelle efficace, Bento intègre le Bento Compute Engine, qui offre une gestion intelligente des ressources pour une utilisation optimale des ressources de calcul. Il prend en charge la mise à l'échelle inter-régions, la mise à l'échelle automatique élastique, l'accélération du démarrage à froid (cold-start), l'orchestration de calcul multi-cloud et les capacités de mise à l'échelle à zéro (scaling-to-zero). Les utilisateurs ont un contrôle total sur leur infrastructure et leur environnement de déploiement, avec des options pour déployer sur leur propre cloud, sur Kubernetes sur site (on-premises), ou utiliser Bento Cloud pour accéder à du matériel GPU de pointe sans les tracas d'approvisionnement, y compris les GPU Nvidia, les GPU AMD et les B200, H100, MI300X.

Bento accélère le chemin vers la production pour les applications d'IA en fournissant aux développeurs tout ce dont ils ont besoin pour construire, expédier et mettre à l'échelle l'inférence d'IA. Cela comprend un espace de code de développement (Dev Codespace) pour une itération rapide dans le cloud, une passerelle LLM (LLM Gateway) pour une interface unifiée vers tous les fournisseurs de LLM avec un contrôle centralisé des coûts, et des opérations rationalisées avec une gestion complète du cycle de vie du déploiement, le contrôle de version, les rollbacks et les tests A/B. Une observabilité complète est obtenue grâce à une surveillance complète des métriques de calcul, de performance et spécifiques aux LLM.

La plateforme est conçue pour la sécurité, la conformité et les capacités opérationnelles de niveau entreprise, garantissant la fiabilité avec des SLA de performance, une surveillance 24h/24 et 7j/7, des garanties de disponibilité et un basculement automatique (failover). Bento propose également un ingénierie de déploiement avancée (Forward Deployed Engineering) avec des experts techniques dédiés, de la recherche en optimisation d'inférence et des benchmarks continus. La souveraineté des données est maintenue avec un contrôle total sur les données utilisateur. BentoML fait désormais partie de Modular.