Splash

MLX

AI GitHub 仓库

专为 Apple Silicon 设计的数组框架，能够高效地进行机器学习操作。它允许开发者在 GitHub 上参与其开发，促进 AI 社区的合作与创新。MLX 是一个专为 Apple Silicon 设计的数组框架，能够高效地进行机器学习操作。它允许开发者在 GitHub 上参与其开发，促进 AI 社区的合作与创新。

MNN

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。

Cactus Compute

AI GitHub 仓库

#21

开源项目，专注于移动设备、可穿戴设备、智能家居系统和机器人中的量化、内核、运行时和推理引擎。它旨在优化各种平台上的AI性能。Cactus Compute是一个开源项目，专注于移动设备、可穿戴设备、智能家居系统和机器人中的量化、内核、运行时和推理引擎。它旨在优化各种平台上的AI性能。

LocalAI

AI GitHub 仓库

#44

开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。

Runanywhere

AI GitHub 仓库

Runanywhere SDKs 是一个生产就绪的工具包，旨在本地运行 AI 模型。它通过提供高效本地执行所需的基本工具和资源，促进 AI 应用程序的开发和部署。

Laya CoreML

AI GitHub 仓库

GitHub仓库，专注于使用Apple Core ML和神经引擎进行本地Laya类型决策。它提供经过验证的端口和基准，以便在M3 Max上快速决策，确保可重复的速度和能效。Laya CoreML是一个GitHub仓库，专注于使用Apple Core ML和神经引擎进行本地Laya类型决策。它提供经过验证的端口和基准，以便在M3 Max上快速决策，确保可重复的速度和能效。

Burrito Core

AI GitHub 仓库

针对 gpt-oss 的推理工具，兼容 OpenAI 和 Anthropic API。它支持原生 Python 和浏览器工具，利用 llama.cpp 或 vLLM 进行高效处理。Burrito Core 是一个针对 gpt-oss 的推理工具，兼容 OpenAI 和 Anthropic API。它支持原生 Python 和浏览器工具，利用 llama.cpp 或 vLLM 进行高效处理。

本地AI游乐场

AI 应用

免费、开源的原生应用程序，可离线和私密运行AI模型。它通过Rust后端简化了AI推理，无需GPU。轻松管理模型、验证完整性并启动流式服务器，使AI无需技术设置即可访问。本地AI游乐场是一款免费、开源的原生应用程序，可离线和私密运行AI模型。它通过Rust后端简化了AI推理，无需GPU。轻松管理模型、验证完整性并启动流式服务器，使AI无需技术设置即可访问。