PowerInfer

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

mlc-llm

AI GitHub 仓库

通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。mlc-llm 是一个通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

FlashInfer

AI GitHub 仓库

专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。

SGLang

AI GitHub 仓库

#53

专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。SGLang 是一个专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。

BentoML

AI GitHub 仓库

#93

开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。BentoML 是一个开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。

Soup

AI GitHub 仓库

汤是一个GitHub仓库，能够使用单个YAML文件对大型语言模型（LLMs）进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型，使得在有限硬件上进行高级AI模型训练变得可行。

ColossalAI

AI GitHub 仓库

#65

旨在使大型AI模型更具经济性、更快速和更易获取的项目。它提供了优化AI模型训练和部署的工具和框架，专注于效率和可扩展性。ColossalAI是一个旨在使大型AI模型更具经济性、更快速和更易获取的项目。它提供了优化AI模型训练和部署的工具和框架，专注于效率和可扩展性。

Petals

AI GitHub 仓库

#102

开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。Petals是一个开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。