openTPU

英特尔开放边缘机器人AI套件

AI GitHub 仓库

精心策划的示例应用程序集合，旨在帮助开发优化的AI解决方案并测试各种行业用例中的硬件性能。英特尔开放边缘机器人AI套件是一个精心策划的示例应用程序集合，旨在帮助开发优化的AI解决方案并测试各种行业用例中的硬件性能。

LocalAI

AI GitHub 仓库

#44

开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。

Shimmy

AI GitHub 仓库

纯 Rust 的 WebGPU 推理引擎，兼容 OpenAI-API，并原生支持 GGUF。它可以在任何 GPU 上运行，无需 Python 或 llama.cpp，提供单一二进制解决方案。Shimmy 是一个纯 Rust 的 WebGPU 推理引擎，兼容 OpenAI-API，并原生支持 GGUF。它可以在任何 GPU 上运行，无需 Python 或 llama.cpp，提供单一二进制解决方案。

GenieX

AI GitHub 仓库

GenieX 使得在 Qualcomm 设备上本地执行前沿 LLM 和 VLM 成为可能，利用 NPU、GPU 和 CPU。它通过最少的代码简化了这一过程，提供高效的 AI 模型部署。

AirLLM

AI GitHub 仓库

#234

GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。AirLLM是一个GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。

Open Interpreter

AI GitHub 仓库

#36

轻量级的编码代理，专为 Deepseek、Kimi 和 Qwen 等开放模型设计。它使这些模型能够本地运行代码，与您的计算机交互，并跨各种应用程序执行任务，从而增强了其对开发人员和用户的实用性和可访问性。Open Interpreter 是一个轻量级的编码代理，专为 Deepseek、Kimi 和 Qwen 等开放模型设计。它使这些模型能够本地运行代码，与您的计算机交互，并跨各种应用程序执行任务，从而增强了其对开发人员和用户的实用性和可访问性。

Strata

AI GitHub 仓库

#22

推理引擎，能够在消费硬件上部署 Qwen3.8-Flash-Next。它支持在 Windows 和 Linux 上一键安装，并提供与 OpenAI 和 Anthropic API 的集成，具有可选的图像输入功能。Strata 是一个推理引擎，能够在消费硬件上部署 Qwen3.8-Flash-Next。它支持在 Windows 和 Linux 上一键安装，并提供与 OpenAI 和 Anthropic API 的集成，具有可选的图像输入功能。

kimi-k3-in-c

AI GitHub 仓库

Kimi K3 in C 是一个拥有 2.78 万亿参数的模型，能够在仅需 8.24 GB RAM 的单个 CPU 上运行推理。它采用可移植的 C99 实现，不需要 BLAS、框架或 GPU，使其对开发者高度可及。