KServe

Para IA Generativa, KServe oferece backends otimizados como vLLM e llm-d para servir LLMs de alta performance. Possui um protocolo compatível com OpenAI para integração perfeita, aceleração de GPU com gerenciamento otimizado de memória e cache de modelos para reduzir tempos de carregamento. Capacidades avançadas incluem offloading de cache KV para lidar com sequências mais longas, autoescalonamento baseado em requisições ajustado para cargas de trabalho generativas e suporte nativo a modelos Hugging Face para implantação simplificada.

No domínio da IA Preditiva, KServe suporta uma ampla gama de frameworks, incluindo TensorFlow, PyTorch, scikit-learn, XGBoost e ONNX. Permite roteamento inteligente entre componentes de preditor, transformador e explicador, e facilita implantações avançadas como rollouts canário, pipelines e ensembles usando InferenceGraph. O autoescalonamento, incluindo scale-to-zero para cargas de trabalho preditivas, é um recurso chave, juntamente com explicabilidade de modelo integrada para entender o raciocínio das predições e monitoramento avançado para logging de payload, detecção de outliers, ataques adversariais e drift.

KServe fornece uma API simples, porém poderosa, através de uma Definição de Recurso Personalizado (CRD) do Kubernetes para servir modelos de machine learning. Ele abstrai as complexidades de autoescalonamento, rede, verificação de saúde e configuração de servidor, trazendo recursos de serving de ponta para implantações de ML. A plataforma garante uma API Kubernetes padrão em todos os frameworks de ML, suporta pré/pós-processamento e explicabilidade, e oferece suporte à especificação OpenAI para LLMs, juntamente com rollouts canário e testes A/B para inferências.

A arquitetura compreende um Plano de Controle que gerencia o ciclo de vida dos modelos de ML, incluindo rastreamento de revisões e testes A/B, e um Plano de Dados que oferece um protocolo de inferência padronizado para servidores de modelos com APIs de requisição/resposta. O recurso principal do Kubernetes é o InferenceService, que simplifica a implantação de modelos de ML com escalonamento automático, rede e verificações de saúde. O InferenceGraph permite implantações avançadas com pipelines, ensembles e fluxos de trabalho multi-modelo. KServe é confiável por líderes da indústria para inferência de modelo confiável em escala.