omlx

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

MNN

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。

Splash

AI GitHub 仓库

#137

专为 Apple 硅设计的本地推理引擎。它能够在 Apple 设备上高效地进行模型推理，为开发者提供了一种简化的本地 AI 模型解决方案。Splash 是一个专为 Apple 硅设计的本地推理引擎。它能够在 Apple 设备上高效地进行模型推理，为开发者提供了一种简化的本地 AI 模型解决方案。

LMCache

AI GitHub 仓库

高性能的键值缓存层，旨在提高大型语言模型（LLMs）的效率。它优化了数据检索速度，确保 AI 应用程序的处理更快、性能更好。LMCache 是一个高性能的键值缓存层，旨在提高大型语言模型（LLMs）的效率。它优化了数据检索速度，确保 AI 应用程序的处理更快、性能更好。

mlc-llm

AI GitHub 仓库

通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。mlc-llm 是一个通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

WebLLM

AI GitHub 仓库

web-llm 是一个高性能的浏览器内 LLM 推理引擎，旨在直接在网络环境中促进机器学习任务。它允许开发者通过 GitHub 贡献和增强其功能。

TokenSpeed

AI GitHub 仓库

#189

高性能的 LLM 推理引擎，旨在提供快速的处理速度。它针对大型语言模型进行了优化，为 AI 开发者和研究人员提供高效且可扩展的解决方案。TokenSpeed 是一个高性能的 LLM 推理引擎，旨在提供快速的处理速度。它针对大型语言模型进行了优化，为 AI 开发者和研究人员提供高效且可扩展的解决方案。

微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。BitNet是微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。