BentoML

Bento

AI 平台

为速度和控制而设计的推理平台，使您能够将任何 AI 模型部署到任何地方。它提供定制优化、高效扩展和简化的操作，以满足 AI 团队的需求。在保持对部署的完全控制的同时，简化推理基础设施。Bento 是一个为速度和控制而设计的推理平台，使您能够将任何 AI 模型部署到任何地方。它提供定制优化、高效扩展和简化的操作，以满足 AI 团队的需求。在保持对部署的完全控制的同时，简化推理基础设施。

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

Seldon Core

AI GitHub 仓库

MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。Seldon Core 是一个 MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。

Valohai

AI 平台

#130

为集成LLM和专业模型的AI产品设计的MLOps平台。它使用户能够使用自己的云基础设施比较、评估和部署配置，同时保持从数据到部署的完整追溯。Valohai是一个为集成LLM和专业模型的AI产品设计的MLOps平台。它使用户能够使用自己的云基础设施比较、评估和部署配置，同时保持从数据到部署的完整追溯。

BentoCloud

AI 应用

Bento推理平台是一个统一的解决方案，用于构建和扩展AI系统。它提供了高效部署和管理AI模型的工具，满足寻求强大AI基础设施的开发者和企业的需求。

Wallaroo.ai

AI 平台

#147

AI 平台，提供用于部署、管理和监控机器学习模型的工具。它旨在简化 MLOps 生命周期，使团队能够更快、更自信地将 AI 推向生产。该平台支持各种模型类型并与现有工作流集成。Wallaroo.ai 是一个 AI 平台，提供用于部署、管理和监控机器学习模型的工具。它旨在简化 MLOps 生命周期，使团队能够更快、更自信地将 AI 推向生产。该平台支持各种模型类型并与现有工作流集成。

MLRun

AI 应用

#64

开源的AI编排框架，管理机器学习（ML）和生成性AI应用程序的整个生命周期，自动化数据准备、模型调优和部署。它支持多云、混合和本地环境，实现快速部署和可扩展性。MLRun是一个开源的AI编排框架，管理机器学习（ML）和生成性AI应用程序的整个生命周期，自动化数据准备、模型调优和部署。它支持多云、混合和本地环境，实现快速部署和可扩展性。

RedPajama-INCITE

AI 平台

Together AI 是一个AI模型平台。它提供对各种模型的访问，使开发人员能够将先进的AI功能集成到他们的应用程序中。该平台专注于提供一个强大的AI开发和部署环境，支持AI驱动项目的创新和效率。