TokenSpeed

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

Petals

AI GitHub 仓库

#102

开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。Petals是一个开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。

微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。BitNet是微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。

MNN

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。

AirLLM

AI GitHub 仓库

#234

GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。AirLLM是一个GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。

MLX

AI GitHub 仓库

专为 Apple Silicon 设计的数组框架，能够高效地进行机器学习操作。它允许开发者在 GitHub 上参与其开发，促进 AI 社区的合作与创新。MLX 是一个专为 Apple Silicon 设计的数组框架，能够高效地进行机器学习操作。它允许开发者在 GitHub 上参与其开发，促进 AI 社区的合作与创新。

FlashInfer

AI GitHub 仓库

专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。

WebLLM

AI GitHub 仓库

web-llm 是一个高性能的浏览器内 LLM 推理引擎，旨在直接在网络环境中促进机器学习任务。它允许开发者通过 GitHub 贡献和增强其功能。