KServe

Pour l'IA Générative, KServe propose des backends optimisés tels que vLLM et llm-d pour le service LLM haute performance. Elle dispose d'un protocole compatible OpenAI pour une intégration transparente, d'une accélération GPU avec une gestion optimisée de la mémoire et d'un cache de modèle pour réduire les temps de chargement. Les capacités avancées incluent le déchargement du cache KV pour la gestion de séquences plus longues, la mise à l'échelle automatique basée sur les requêtes, optimisée pour les charges de travail génératives, et le support natif des modèles Hugging Face pour un déploiement simplifié.

Dans le domaine de l'IA Prédictive, KServe prend en charge un large éventail de frameworks, notamment TensorFlow, PyTorch, scikit-learn, XGBoost et ONNX. Elle permet un routage intelligent entre les composants predictor, transformer et explainer, et facilite les déploiements avancés tels que les déploiements canary, les pipelines et les ensembles à l'aide d'InferenceGraph. La mise à l'échelle automatique, y compris le passage à zéro pour les charges de travail prédictives, est une fonctionnalité clé, aux côtés de l'explicabilité intégrée des modèles pour comprendre le raisonnement des prédictions et d'une surveillance avancée pour la journalisation des charges utiles, la détection des valeurs aberrantes, des attaques adverses et de la dérive. Son efficacité en termes de coûts est améliorée par les capacités de passage à zéro sur des ressources coûteuses lorsqu'elles ne sont pas utilisées.

KServe fournit une API simple mais puissante via une définition de ressource personnalisée (CRD) Kubernetes pour le service de modèles de machine learning. Elle abstrait les complexités de la mise à l'échelle automatique, du réseau, de la vérification de l'état et de la configuration du serveur, apportant des fonctionnalités de service de pointe aux déploiements ML.

L'architecture comprend un plan de contrôle qui gère le cycle de vie des modèles ML, y compris le suivi des révisions et les tests A/B, et un plan de données qui offre un protocole d'inférence standardisé pour les serveurs de modèles avec des API de requête/réponse. La ressource Kubernetes principale est l'InferenceService, qui simplifie le déploiement de modèles ML avec une mise à l'échelle automatique, un réseau et des vérifications de l'état. InferenceGraph permet des déploiements avancés avec des pipelines, des ensembles et des flux de travail multi-modèles. KServe est approuvé par les leaders de l'industrie pour une inférence de modèle fiable à grande échelle.