KServe AI推理平台

KServe

AI 平台

#96

开源的、Kubernetes 原生的自托管 AI 推理平台。它为生成式 AI 和预测式 AI 提供统一的解决方案，通过 GPU 加速和自动伸缩等功能，简化了从快速部署到高要求的企业级工作负载的部署。KServe 是一个开源的、Kubernetes 原生的自托管 AI 推理平台。它为生成式 AI 和预测式 AI 提供统一的解决方案，通过 GPU 加速和自动伸缩等功能，简化了从快速部署到高要求的企业级工作负载的部署。

BentoML

AI GitHub 仓库

#93

开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。BentoML 是一个开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。

Kubeflow

AI 平台

#102

简化了在 Kubernetes 上部署机器学习工作流的过程，使其变得简单和自动化。它是开源的，由社区构建，为人工智能平台团队提供了模块化和可扩展的解决方案。Kubeflow 简化了在 Kubernetes 上部署机器学习工作流的过程，使其变得简单和自动化。它是开源的，由社区构建，为人工智能平台团队提供了模块化和可扩展的解决方案。

Seldon Core

AI GitHub 仓库

MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。Seldon Core 是一个 MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。

SGLang

AI GitHub 仓库

#53

专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。SGLang 是一个专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。

Seldon Core 2

AI 框架

原生于 Kubernetes 的框架，用于大规模部署和管理机器学习 (ML) 和大型语言模型 (LLM) 系统。它提供了一个灵活的、模块化的架构，适用于本地、混合和多云环境，确保 MLOps 和 LLMOps 的标准化、增强的可观测性和成本效益。Seldon Core 2 是一个原生于 Kubernetes 的框架，用于大规模部署和管理机器学习 (ML) 和大型语言模型 (LLM) 系统。它提供了一个灵活的、模块化的架构，适用于本地、混合和多云环境，确保 MLOps 和 LLMOps 的标准化、增强的可观测性和成本效益。

RedPajama-INCITE

AI 平台

Together AI 是一个AI模型平台。它提供对各种模型的访问，使开发人员能够将先进的AI功能集成到他们的应用程序中。该平台专注于提供一个强大的AI开发和部署环境，支持AI驱动项目的创新和效率。

BentoCloud

AI 应用

Bento推理平台是一个统一的解决方案，用于构建和扩展AI系统。它提供了高效部署和管理AI模型的工具，满足寻求强大AI基础设施的开发者和企业的需求。