BitNet

Petals

AI GitHub 仓库

#102

开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。Petals是一个开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。

MNN

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

Nano-vLLM

AI GitHub 仓库

Nano vLLM是一个GitHub仓库，专注于为大型语言模型开发轻量级虚拟机。它旨在优化推理效率和资源利用，使其适合从事LLM工作的AI研究人员和开发者。

bitsandbytes

AI GitHub 仓库

GitHub项目，旨在通过k位量化技术使大型语言模型在PyTorch中更易于访问。它旨在优化模型性能并降低计算成本，使开发人员更容易使用大规模AI模型。Bitsandbytes是一个GitHub项目，旨在通过k位量化技术使大型语言模型在PyTorch中更易于访问。它旨在优化模型性能并降低计算成本，使开发人员更容易使用大规模AI模型。

AirLLM

AI GitHub 仓库

#234

GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。AirLLM是一个GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。

WebLLM

AI GitHub 仓库

web-llm 是一个高性能的浏览器内 LLM 推理引擎，旨在直接在网络环境中促进机器学习任务。它允许开发者通过 GitHub 贡献和增强其功能。

LLMs-from-scratch

AI GitHub 仓库

GitHub 项目，指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法，非常适合对人工智能和机器学习感兴趣的开发者和研究人员。LLMs-from-scratch 是一个 GitHub 项目，指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法，非常适合对人工智能和机器学习感兴趣的开发者和研究人员。