Rocketride Server

Seldon Core

AI GitHub 仓库

MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。Seldon Core 是一个 MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。

BentoML

AI GitHub 仓库

#93

开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。BentoML 是一个开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。

llmware

AI GitHub 仓库

#81

统一框架，旨在使用小型专业模型构建企业级 RAG 管道。它简化了各种 AI 模型的集成，增强了企业应用的效率和可扩展性。llmware 是一个统一框架，旨在使用小型专业模型构建企业级 RAG 管道。它简化了各种 AI 模型的集成，增强了企业应用的效率和可扩展性。

Metaflow

AI 应用

开源框架，专为构建和管理真实的机器学习、人工智能和数据科学项目而设计。它简化了开发、版本控制和部署，使用户能够利用云端计算进行可扩展执行，并与现有基础设施无缝集成。Metaflow 是一个开源框架，专为构建和管理真实的机器学习、人工智能和数据科学项目而设计。它简化了开发、版本控制和部署，使用户能够利用云端计算进行可扩展执行，并与现有基础设施无缝集成。

DeepEval

AI GitHub 仓库

#80

开源框架，旨在评估大型语言模型（LLMs）。它允许开发者参与并改善评估过程，从而提升LLMs的性能和可靠性。DeepEval是一个开源框架，旨在评估大型语言模型（LLMs）。它允许开发者参与并改善评估过程，从而提升LLMs的性能和可靠性。

FlashInfer

AI GitHub 仓库

专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。

Langfuse

AI GitHub 仓库

#19

开源的AI工程平台，提供LLM评估、可观察性、指标、提示管理等功能。它与OpenTelemetry、LangChain和OpenAI SDK集成，为AI开发提供全面的工具包。Langfuse是一个开源的AI工程平台，提供LLM评估、可观察性、指标、提示管理等功能。它与OpenTelemetry、LangChain和OpenAI SDK集成，为AI开发提供全面的工具包。

Dify

AI GitHub 仓库

#11

用于开发 LLM 应用的开源平台。它提供了一个可视化画布，用于构建 AI 工作流、RAG 管道和代理功能。凭借全面的模型支持和 LLMOps 功能，它能够为开发人员实现快速原型设计和生产部署。Dify 是一个用于开发 LLM 应用的开源平台。它提供了一个可视化画布，用于构建 AI 工作流、RAG 管道和代理功能。凭借全面的模型支持和 LLMOps 功能，它能够为开发人员实现快速原型设计和生产部署。