WebLLM

Petals

AI GitHub 仓库

#102

开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。Petals是一个开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。BitNet是微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。

Mirascope - LLM 反框架

AI GitHub 仓库

创新的 LLM 反框架，旨在简化大型语言模型的开发过程。它提供了一个 GitHub 上的协作平台，开发者可以为其持续开发做出贡献。Mirascope 是一个创新的 LLM 反框架，旨在简化大型语言模型的开发过程。它提供了一个 GitHub 上的协作平台，开发者可以为其持续开发做出贡献。

MLX LM

AI GitHub 仓库

#162

GitHub项目，旨在利用MLX框架简化大型语言模型（LLMs）的运行。它允许开发者参与其开发并增强其功能。MLX LM是一个GitHub项目，旨在利用MLX框架简化大型语言模型（LLMs）的运行。它允许开发者参与其开发并增强其功能。

大猩猩

AI GitHub 仓库

专注于训练和评估大型语言模型（LLMs）以进行函数调用（也称为工具调用）的GitHub项目。它为开发者提供了一个框架，以提高LLMs在执行特定功能时的性能和准确性。大猩猩是一个专注于训练和评估大型语言模型（LLMs）以进行函数调用（也称为工具调用）的GitHub项目。它为开发者提供了一个框架，以提高LLMs在执行特定功能时的性能和准确性。

FlashInfer

AI GitHub 仓库

专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。

TokenSpeed

AI GitHub 仓库

#189

高性能的 LLM 推理引擎，旨在提供快速的处理速度。它针对大型语言模型进行了优化，为 AI 开发者和研究人员提供高效且可扩展的解决方案。TokenSpeed 是一个高性能的 LLM 推理引擎，旨在提供快速的处理速度。它针对大型语言模型进行了优化，为 AI 开发者和研究人员提供高效且可扩展的解决方案。