Petals

微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。BitNet是微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。

PowerInfer

AI GitHub 仓库

#208

高速度的大型语言模型服务工具，旨在本地部署。它能够高效快速地推理大型语言模型，适合希望在本地实现 AI 解决方案的开发者和研究人员。PowerInfer 是一个高速度的大型语言模型服务工具，旨在本地部署。它能够高效快速地推理大型语言模型，适合希望在本地实现 AI 解决方案的开发者和研究人员。

vLLM

AI GitHub 仓库

#22

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

bitsandbytes

AI GitHub 仓库

GitHub项目，旨在通过k位量化技术使大型语言模型在PyTorch中更易于访问。它旨在优化模型性能并降低计算成本，使开发人员更容易使用大规模AI模型。Bitsandbytes是一个GitHub项目，旨在通过k位量化技术使大型语言模型在PyTorch中更易于访问。它旨在优化模型性能并降低计算成本，使开发人员更容易使用大规模AI模型。

ColossalAI

AI GitHub 仓库

#65

旨在使大型AI模型更具经济性、更快速和更易获取的项目。它提供了优化AI模型训练和部署的工具和框架，专注于效率和可扩展性。ColossalAI是一个旨在使大型AI模型更具经济性、更快速和更易获取的项目。它提供了优化AI模型训练和部署的工具和框架，专注于效率和可扩展性。

FlashInfer

AI GitHub 仓库

专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。

MNN

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。

LocalAI

AI GitHub 仓库

#44

开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。