KServe

Para IA Generativa, KServe ofrece backends optimizados como vLLM y llm-d para servir LLMs de alto rendimiento. Cuenta con un protocolo compatible con OpenAI para una integración perfecta, aceleración de GPU con gestión de memoria optimizada y caché de modelos para reducir los tiempos de carga. Las capacidades avanzadas incluyen la descarga de caché KV para manejar secuencias más largas, escalado automático basado en solicitudes ajustado para cargas de trabajo generativas y soporte nativo para modelos Hugging Face para una implementación simplificada.

En el ámbito de la IA Predictiva, KServe admite una amplia gama de frameworks, incluyendo TensorFlow, PyTorch, scikit-learn, XGBoost y ONNX. Permite el enrutamiento inteligente entre componentes de predictor, transformador y explicador, y facilita implementaciones avanzadas como lanzamientos canarios, pipelines y ensembles utilizando InferenceGraph. El escalado automático, incluido el scale-to-zero para cargas de trabajo predictivas, es una característica clave, junto con la explicabilidad de modelos integrada para comprender el razonamiento de las predicciones y la monitorización avanzada para el registro de payloads, la detección de valores atípicos, adversarios y deriva. Su eficiencia de costos se mejora con capacidades de scale-to-zero en recursos costosos cuando no están en uso.

KServe proporciona una API simple pero potente a través de una Definición de Recurso Personalizado (CRD) de Kubernetes para servir modelos de machine learning. Abstrae las complejidades del escalado automático, la red, la comprobación de estado y la configuración del servidor, aportando características de servicio de vanguardia a las implementaciones de ML. La plataforma garantiza una API de Kubernetes estándar en todos los frameworks de ML, admite pre/post-procesamiento y explicabilidad, y ofrece soporte de especificación OpenAI para LLMs, junto con lanzamientos canarios y pruebas A/B para inferencias.

La arquitectura comprende un Plano de Control que gestiona el ciclo de vida de los modelos de ML, incluido el seguimiento de revisiones y las pruebas A/B, y un Plano de Datos que ofrece un protocolo de inferencia estandarizado para servidores de modelos con APIs de solicitud/respuesta. El recurso central de Kubernetes es el InferenceService, que simplifica la implementación de modelos de ML con escalado automático, red y comprobaciones de estado. InferenceGraph permite implementaciones avanzadas con pipelines, ensembles y flujos de trabajo de múltiples modelos. KServe es confiado por líderes de la industria para inferencia de modelos confiable a escala.