描述
Seldon Core 2 是一个生产就绪的、原生于 Kubernetes 的框架，专为机器学习 (ML) 和大型语言模型 (LLM) 系统的可扩展部署和管理而设计。其以数据为中心且模块化的架构，能够无缝处理从简单模型到复杂 ML 应用的各种场景，并支持本地、混合和多云等多样化环境。这种方法确保了 MLOps 和 LLMOps 工作流程的灵活性、标准化、增强的可观测性和成本效益。
该框架的关键优势在于其灵活性，允许根据特定需求进行实时 ML 模型部署。它与平台无关，支持本地、云和混合部署，并采用自适应架构，通过动态扩展和组件重用，为 MLOps 提供面向未来的支持。这种模块化设计增强了资源效率，优化了资源分配，并确保了长期的可扩展性和适应性。
标准化是另一个核心方面，Seldon Core 2 强制执行 ML 部署的最佳实践，以确保整个生命周期的一致性、可靠性和效率。通过自动化部署步骤，它消除了操作瓶颈，加快了上线速度，并使团队能够专注于高价值任务。“一次学习，随处部署”的理念简化了跨不同环境的部署，降低了风险并提高了生产力。它支持传统模型、基础模型和 LLM 模型，促进了 MLOps 工程师、数据科学家和软件工程师之间的协作。
通过对数据管道、模型和部署环境进行实时监控、分析和性能跟踪，提供了增强的可观测性。Seldon Core 2 结合了操作监控和数据科学监控，提供了维护和决策所需的核心指标。其可定制的框架简化了复杂、任务关键型用例的操作监控，确保所有预测数据都可审计，以实现可解释性、合规性和信任。
通过其模块化架构实现资源效率优化，仅部署必要的组件即可实现敏捷性和高性能。它支持动态基础设施扩展，支持按需工作负载的零扩展，并保留部署状态以实现无缝重新激活。通过多模型服务 (MMS) 和过量订阅整合的服务基础设施，最大限度地提高了资源利用率并降低了计算开销。该框架的可扩展性和模块化适应性允许与 LLM 和其他模块集成以实现可扩展 AI，从而最大限度地提高价值提取和成本效益。可预测的固定定价进一步支持成本效益的扩展和创新。
Seldon Core 2的核心功能
用于 ML 和 LLM 系统的原生 Kubernetes 框架
支持本地、混合和多云部署
用于灵活和可扩展应用程序的模块化架构
强制执行 ML 部署的标准和最佳实践
提供实时监控和性能跟踪
以数据为中心的方法，用于可审计的预测数据
通过多模型服务优化资源利用率
根据需求动态扩展基础设施
支持传统模型、基础模型和 LLM 模型
支持组件重用和优化资源分配
通过自适应架构为 MLOps/LLMOps 提供面向未来的支持
促进 MLOps、数据科学家和软件工程师之间的协作
Seldon Core 2入门
安装 Seldon Core 2：在您的 Kubernetes 集群上部署该框架。
配置您的 ML 模型：为您的模型定义部署配置。
构建和打包：准备您的模型和依赖项以进行部署。
部署模型：利用 Seldon Core 2 部署您的 ML 或 LLM 系统。
监控性能：跟踪实时指标和系统运行状况。
优化部署：调整资源和配置以提高效率。
Seldon Core 2的使用案例
- ML 模型部署
- LLM 系统服务
- 实时推理
- 混合云 MLOps
- 多云 ML 操作
- 可扩展 AI 应用
- ML 可观测性
