SGLang

SGLang

AI 框架

为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统，帮助开发者高效地实现先进的AI解决方案。SGLang是一个为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统，帮助开发者高效地实现先进的AI解决方案。

vLLM

AI GitHub 仓库

#22

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

LlamaFactory

AI GitHub 仓库

#11

GitHub仓库，专注于对100多种大型语言模型（LLMs）和视觉语言模型（VLMs）进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。LlamaFactory是一个GitHub仓库，专注于对100多种大型语言模型（LLMs）和视觉语言模型（VLMs）进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。

Unsloth

AI GitHub 仓库

#39

本地用户界面，旨在运行和训练大型语言模型（LLMs）和扩散模型。它支持多种模型，包括Qwen3.8、Kimi K3、MiniMax-H3等，为开发者和研究人员提供了一个可访问的平台。unslothai/unsloth是一个本地用户界面，旨在运行和训练大型语言模型（LLMs）和扩散模型。它支持多种模型，包括Qwen3.8、Kimi K3、MiniMax-H3等，为开发者和研究人员提供了一个可访问的平台。

DeepEval

AI GitHub 仓库

#81

开源框架，旨在评估大型语言模型（LLMs）。它允许开发者参与并改善评估过程，从而提升LLMs的性能和可靠性。DeepEval是一个开源框架，旨在评估大型语言模型（LLMs）。它允许开发者参与并改善评估过程，从而提升LLMs的性能和可靠性。

MLX LM

AI GitHub 仓库

#163

GitHub项目，旨在利用MLX框架简化大型语言模型（LLMs）的运行。它允许开发者参与其开发并增强其功能。MLX LM是一个GitHub项目，旨在利用MLX框架简化大型语言模型（LLMs）的运行。它允许开发者参与其开发并增强其功能。

ColossalAI

AI GitHub 仓库

#65

旨在使大型AI模型更具经济性、更快速和更易获取的项目。它提供了优化AI模型训练和部署的工具和框架，专注于效率和可扩展性。ColossalAI是一个旨在使大型AI模型更具经济性、更快速和更易获取的项目。它提供了优化AI模型训练和部署的工具和框架，专注于效率和可扩展性。

BentoML

AI GitHub 仓库

#95

开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。BentoML 是一个开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。