描述
KServe 已加入 CNCF，巩固了其作为自托管 AI 推理开源标准的地位。这个 Kubernetes 原生的平台为生成式 AI 和预测式 AI 提供统一的解决方案，设计上既足够简单，可用于快速部署，又足够强大，可满足企业级工作负载的需求。
阅读更多
对于生成式 AI，KServe 提供了 vLLM 和 llm-d 等优化后端，用于高性能 LLM 服务。它具有兼容 OpenAI 的协议，可实现无缝集成，支持 GPU 加速和优化的内存管理，以及模型缓存以缩短加载时间。高级功能包括用于处理更长序列的 KV 缓存卸载，针对生成式工作负载调优的基于请求的自动伸缩，以及对 Hugging Face 模型原生的支持，以简化部署。
在预测式 AI 领域，KServe 支持广泛的框架，包括 TensorFlow、PyTorch、scikit-learn、XGBoost 和 ONNX。它支持预测器、转换器和解释器组件之间的智能路由，并通过 InferenceGraph 实现金丝雀发布、管道和集成等高级部署。自动伸缩，包括预测式工作负载的缩容至零，是一项关键功能，此外还内置了用于理解预测推理的模型可解释性以及用于负载日志记录、异常值、对抗性攻击和漂移检测的高级监控。其成本效益通过在不使用时对昂贵资源进行缩容至零的能力得到增强。
KServe 通过 Kubernetes 自定义资源定义 (CRD) 提供了一个简单而强大的 API，用于服务机器学习模型。它抽象了自动伸缩、网络、健康检查和服务器配置的复杂性，为 ML 部署带来了最先进的服务功能。该平台确保了跨 ML 框架的标准 Kubernetes API，支持预/后处理和可解释性，并为 LLM 提供 OpenAI 规范支持，以及用于推理的金丝雀发布和 A/B 测试。
该架构包括一个管理 ML 模型生命周期的控制平面（包括修订版本跟踪和 A/B 测试），以及一个为模型服务器提供具有请求/响应 API 的标准化推理协议的数据平面。核心 Kubernetes 资源是 InferenceService，它通过自动伸缩、网络和健康检查简化了 ML 模型部署。InferenceGraph 通过管道、集成和多模型工作流实现高级部署。KServe 受到行业领导者的信赖，用于大规模可靠的模型推理。
- 类别MLOps 与模型部署
- 定价模式开源
- 部署Kubernetes 原生
- 平台网页版
KServe的核心功能
Kubernetes 原生的 AI 推理平台
生成式 AI 和预测式 AI 的统一服务
兼容 OpenAI 的 LLM 协议
GPU 加速和优化的内存管理
模型缓存和 KV 缓存卸载
针对生成式工作负载的基于请求的自动伸缩
Hugging Face 模型原生支持
多框架支持（TensorFlow、PyTorch、scikit-learn、XGBoost、ONNX）
预测器、转换器和解释器的智能路由
通过 InferenceGraph 实现高级部署（管道、集成）
针对预测式工作负载的缩容至零自动伸缩
内置模型可解释性和特征归因
高级监控（负载日志记录、异常值、对抗性攻击、漂移检测）
跨 ML 框架的标准 Kubernetes API
用于推理的金丝雀发布和 A/B 测试
如何使用 KServe？
安装 KServe：在您的 Kubernetes 集群上部署 KServe 及其依赖项。
创建 InferenceService：定义一个简单的 YAML 配置来部署预训练模型。
配置 Predictor：指定模型格式、资源（CPU、内存、GPU）和存储 URI。
发送推理请求：通过 API 调用使用已部署的模型进行预测。
KServe的使用案例
- LLM 服务
- 预测模型部署
- 大规模 AI 推理
- 模型可解释性
- 高级部署策略
- 成本效益 AI
- Hugging Face 模型集成
