最佳 MLOps 与模型部署 AI GitHub 仓库

Ollama

AI GitHub 仓库

#10

开源工具，可以在您的计算机上运行大型语言模型。它允许开发者通过单个命令安装 Llama、Gemma、Qwen 和 DeepSeek 等模型，然后通过 CLI、REST API 或官方的 Python 和 JavaScript 库在 macOS、Windows、Linux 或 Docker 上使用它们。Ollama 是一个开源工具，可以在您的计算机上运行大型语言模型。它允许开发者通过单个命令安装 Llama、Gemma、Qwen 和 DeepSeek 等模型，然后通过 CLI、REST API 或官方的 Python 和 JavaScript 库在 macOS、Windows、Linux 或 Docker 上使用它们。

Langfuse

AI GitHub 仓库

#19

开源的AI工程平台，提供LLM评估、可观察性、指标、提示管理等功能。它与OpenTelemetry、LangChain和OpenAI SDK集成，为AI开发提供全面的工具包。Langfuse是一个开源的AI工程平台，提供LLM评估、可观察性、指标、提示管理等功能。它与OpenTelemetry、LangChain和OpenAI SDK集成，为AI开发提供全面的工具包。

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

Unsloth

AI GitHub 仓库

#39

本地用户界面，旨在运行和训练大型语言模型（LLMs）和扩散模型。它支持多种模型，包括Qwen3.8、Kimi K3、MiniMax-H3等，为开发者和研究人员提供了一个可访问的平台。unslothai/unsloth是一个本地用户界面，旨在运行和训练大型语言模型（LLMs）和扩散模型。它支持多种模型，包括Qwen3.8、Kimi K3、MiniMax-H3等，为开发者和研究人员提供了一个可访问的平台。

SGLang

AI GitHub 仓库

#53

专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。SGLang 是一个专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。

Netron 可视化工具

AI GitHub 仓库

#69

用于神经网络、深度学习和机器学习模型的可视化工具。它提供了一个直观的界面来探索模型架构和参数，使开发者和研究人员更容易理解和调试模型。Netron 是一个用于神经网络、深度学习和机器学习模型的可视化工具。它提供了一个直观的界面来探索模型架构和参数，使开发者和研究人员更容易理解和调试模型。

LMDeploy

AI GitHub 仓库

#72

用于压缩、部署和服务大型语言模型（LLMs）的工具包。它为开发者提供了必要的工具，以高效管理LLMs，确保最佳性能和可扩展性。LMDeploy是一个用于压缩、部署和服务大型语言模型（LLMs）的工具包。它为开发者提供了必要的工具，以高效管理LLMs，确保最佳性能和可扩展性。

DeepEval

AI GitHub 仓库

#80

开源框架，旨在评估大型语言模型（LLMs）。它允许开发者参与并改善评估过程，从而提升LLMs的性能和可靠性。DeepEval是一个开源框架，旨在评估大型语言模型（LLMs）。它允许开发者参与并改善评估过程，从而提升LLMs的性能和可靠性。

llmware

AI GitHub 仓库

#81

统一框架，旨在使用小型专业模型构建企业级 RAG 管道。它简化了各种 AI 模型的集成，增强了企业应用的效率和可扩展性。llmware 是一个统一框架，旨在使用小型专业模型构建企业级 RAG 管道。它简化了各种 AI 模型的集成，增强了企业应用的效率和可扩展性。

Phoenix

AI GitHub 仓库

#85

Arize Phoenix 是一款 AI 可观察性和评估工具，旨在帮助开发者监控和评估 AI 模型。它提供了模型性能的洞察，促进更好的决策和优化。

Feast 特征存储

AI GitHub 仓库

#89

开源特征存储，旨在用于人工智能和机器学习应用。它使数据科学家能够管理和提供生产中的特征，提高 AI 项目的效率和可扩展性。Feast 是一个开源特征存储，旨在用于人工智能和机器学习应用。它使数据科学家能够管理和提供生产中的特征，提高 AI 项目的效率和可扩展性。

BentoML

AI GitHub 仓库

#93

开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。BentoML 是一个开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。

NannyML

AI GitHub 仓库

#106

专注于部署后数据科学的 Python 库。它帮助数据科学家监控和分析模型在部署后的性能，确保可靠性和准确性。NannyML 是一个专注于部署后数据科学的 Python 库。它帮助数据科学家监控和分析模型在部署后的性能，确保可靠性和准确性。

llamafile

AI GitHub 仓库

#135

旨在简化大型语言模型（LLMs）分发和执行的工具，通过单个文件实现。它促进了 Mozilla AI 社区在 GitHub 上的协作和开发。Llamafile 是一个旨在简化大型语言模型（LLMs）分发和执行的工具，通过单个文件实现。它促进了 Mozilla AI 社区在 GitHub 上的协作和开发。

SGLang-Omni

AI GitHub 仓库

#155本周

高性能的服务框架，专为文本到语音（TTS）和自动语音识别（ASR）等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。SGLang-Omni 是一个高性能的服务框架，专为文本到语音（TTS）和自动语音识别（ASR）等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。

Caveman

AI GitHub 仓库

#180

穴居人是一个GitHub项目，通过模仿穴居人的语言来优化编码代理的令牌使用。它将令牌消耗减少了65%，提高了开发者使用编码代理的效率。

FailproofAI

AI GitHub 仓库

#182

提供 AI 代理工具的可观察性和执行保障，确保每次运行都被捕获，并通过政策执行维护运行时的可靠性。它旨在增强 AI 系统的可靠性和效率。FailproofAI 提供 AI 代理工具的可观察性和执行保障，确保每次运行都被捕获，并通过政策执行维护运行时的可靠性。它旨在增强 AI 系统的可靠性和效率。

RagaAI Catalyst

AI GitHub 仓库

#201

为 AI 可观察性、监控和评估而设计的 Python SDK。它提供了代理和工具追踪、多代理系统调试以及带有自托管仪表板的高级分析等功能。RagaAI Catalyst 是一个为 AI 可观察性、监控和评估而设计的 Python SDK。它提供了代理和工具追踪、多代理系统调试以及带有自托管仪表板的高级分析等功能。

PowerInfer

AI GitHub 仓库

#202

高速度的大型语言模型服务工具，旨在本地部署。它能够高效快速地推理大型语言模型，适合希望在本地实现 AI 解决方案的开发者和研究人员。PowerInfer 是一个高速度的大型语言模型服务工具，旨在本地部署。它能够高效快速地推理大型语言模型，适合希望在本地实现 AI 解决方案的开发者和研究人员。

AirLLM

AI GitHub 仓库

#234

GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。AirLLM是一个GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。

Rocketride Server

AI GitHub 仓库

#235

高性能的 AI 流水线引擎，核心采用 C++。它支持超过 50 个可扩展的 Python 节点，使得构建、调试和扩展多个模型提供者和向量数据库的 LLM 工作流成为可能。该工具与 IDE 集成，并包括 VS Code 扩展、TypeScript/Python SDK 和 Docker 部署。Rocketride Server 是一款高性能的 AI 流水线引擎，核心采用 C++。它支持超过 50 个可扩展的 Python 节点，使得构建、调试和扩展多个模型提供者和向量数据库的 LLM 工作流成为可能。该工具与 IDE 集成，并包括 VS Code 扩展、TypeScript/Python SDK 和 Docker 部署。

GPUStack

AI GitHub 仓库

#115

为高性能 AI 模型服务设计的 GPU 集群管理器，包括 vLLM 和 SGLang，并提供按需 SSH 可访问的 GPU 实例。它促进了 AI 应用程序的 GPU 资源高效管理。GPUStack 是一个为高性能 AI 模型服务设计的 GPU 集群管理器，包括 vLLM 和 SGLang，并提供按需 SSH 可访问的 GPU 实例。它促进了 AI 应用程序的 GPU 资源高效管理。

Strata

AI GitHub 仓库

#22

推理引擎，能够在消费硬件上部署 Qwen3.8-Flash-Next。它支持在 Windows 和 Linux 上一键安装，并提供与 OpenAI 和 Anthropic API 的集成，具有可选的图像输入功能。Strata 是一个推理引擎，能够在消费硬件上部署 Qwen3.8-Flash-Next。它支持在 Windows 和 Linux 上一键安装，并提供与 OpenAI 和 Anthropic API 的集成，具有可选的图像输入功能。

omlx

AI GitHub 仓库

#135

为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。omlx 是一个为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。

Seldon Core

AI GitHub 仓库

MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。Seldon Core 是一个 MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。

KServe AI推理平台

AI GitHub 仓库

标准化的分布式AI推理平台，旨在支持在Kubernetes上进行可扩展的多框架部署。它支持生成性和预测性AI模型，使得在各种框架中高效灵活地提供AI模型成为可能。KServe是一个标准化的分布式AI推理平台，旨在支持在Kubernetes上进行可扩展的多框架部署。它支持生成性和预测性AI模型，使得在各种框架中高效灵活地提供AI模型成为可能。

TraceML

AI GitHub 仓库

Polyaxon TraceML 是一个专为 AI/ML 数据跟踪、可视化、可解释性和漂移检测而设计的引擎。它提供全面的仪表板，以有效监控和管理机器学习模型。

Radicalbit AI 监控

AI GitHub 仓库

全面的解决方案，用于监督生产中的 AI 模型。它提供工具以确保模型的性能和可靠性，对于依赖 AI 技术的企业至关重要。Radicalbit AI 监控是一个全面的解决方案，用于监督生产中的 AI 模型。它提供工具以确保模型的性能和可靠性，对于依赖 AI 技术的企业至关重要。

TruLens 评估工具

AI GitHub 仓库

GitHub 项目，旨在评估和跟踪大型语言模型（LLMs）和 AI 代理的实验。它提供工具以有效评估性能并管理 AI 实验。TruLens 是一个 GitHub 项目，旨在评估和跟踪大型语言模型（LLMs）和 AI 代理的实验。它提供工具以有效评估性能并管理 AI 实验。

Whylogs 数据记录库

AI GitHub 仓库

开源数据记录库，旨在为机器学习模型和数据管道提供支持。它提供了对数据质量和模型性能的可视化，支持隐私保护的数据收集，以确保安全性和稳健性。Whylogs 是一个开源数据记录库，旨在为机器学习模型和数据管道提供支持。它提供了对数据质量和模型性能的可视化，支持隐私保护的数据收集，以确保安全性和稳健性。

Cua

AI GitHub 仓库

开源项目，旨在通过跨操作系统的车队、驱动程序和用于训练和评估的基准来增强计算机使用，旨在简化数据生成过程。Cua是一个开源项目，旨在通过跨操作系统的车队、驱动程序和用于训练和评估的基准来增强计算机使用，旨在简化数据生成过程。

mlc-llm

AI GitHub 仓库

通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。mlc-llm 是一个通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

MNN

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。

ms-swift

AI GitHub 仓库

GitHub仓库，支持对超过600个大型语言模型（LLMs）和300个多模态语言模型（MLLMs）进行PEFT或全参数调优。它支持Qwen3.8、DeepSeek-V4和GLM-5.1等模型，为AI模型的训练和部署提供灵活性。ms-swift是一个GitHub仓库，支持对超过600个大型语言模型（LLMs）和300个多模态语言模型（MLLMs）进行PEFT或全参数调优。它支持Qwen3.8、DeepSeek-V4和GLM-5.1等模型，为AI模型的训练和部署提供灵活性。

LMCache

AI GitHub 仓库

高性能的键值缓存层，旨在提高大型语言模型（LLMs）的效率。它优化了数据检索速度，确保 AI 应用程序的处理更快、性能更好。LMCache 是一个高性能的键值缓存层，旨在提高大型语言模型（LLMs）的效率。它优化了数据检索速度，确保 AI 应用程序的处理更快、性能更好。

Soup

AI GitHub 仓库

汤是一个GitHub仓库，能够使用单个YAML文件对大型语言模型（LLMs）进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型，使得在有限硬件上进行高级AI模型训练变得可行。

GenieX

AI GitHub 仓库

GenieX 使得在 Qualcomm 设备上本地执行前沿 LLM 和 VLM 成为可能，利用 NPU、GPU 和 CPU。它通过最少的代码简化了这一过程，提供高效的 AI 模型部署。

GPTCache

AI GitHub 仓库

为大型语言模型（LLMs）设计的语义缓存，完全与 LangChain 和 llama_index 集成。它通过缓存语义数据来优化 LLM 的性能，提高效率并减少计算负载。GPTCache 是一个为大型语言模型（LLMs）设计的语义缓存，完全与 LangChain 和 llama_index 集成。它通过缓存语义数据来优化 LLM 的性能，提高效率并减少计算负载。

FlashInfer

AI GitHub 仓库

专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。

AI 管理器

AI GitHub 仓库

桌面应用程序，旨在简化 AI 编码工具的使用。它为开发人员提供了一个集成环境，以高效管理和部署 AI 模型，从而提高生产力和协作能力。AI 管理器是一款桌面应用程序，旨在简化 AI 编码工具的使用。它为开发人员提供了一个集成环境，以高效管理和部署 AI 模型，从而提高生产力和协作能力。