PS5LM

LocalAI

AI GitHub 仓库

#44

开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。

Burrito Core

AI GitHub 仓库

针对 gpt-oss 的推理工具，兼容 OpenAI 和 Anthropic API。它支持原生 Python 和浏览器工具，利用 llama.cpp 或 vLLM 进行高效处理。Burrito Core 是一个针对 gpt-oss 的推理工具，兼容 OpenAI 和 Anthropic API。它支持原生 Python 和浏览器工具，利用 llama.cpp 或 vLLM 进行高效处理。

llmfit

AI GitHub 仓库

GitHub项目，帮助用户识别与其硬件兼容的机器学习模型。它提供了一个命令行工具，以简化查找能够在特定硬件配置上高效运行的模型和提供者的过程。llmfit是一个GitHub项目，帮助用户识别与其硬件兼容的机器学习模型。它提供了一个命令行工具，以简化查找能够在特定硬件配置上高效运行的模型和提供者的过程。

Shimmy

AI GitHub 仓库

纯 Rust 的 WebGPU 推理引擎，兼容 OpenAI-API，并原生支持 GGUF。它可以在任何 GPU 上运行，无需 Python 或 llama.cpp，提供单一二进制解决方案。Shimmy 是一个纯 Rust 的 WebGPU 推理引擎，兼容 OpenAI-API，并原生支持 GGUF。它可以在任何 GPU 上运行，无需 Python 或 llama.cpp，提供单一二进制解决方案。

Project Maya

AI GitHub 仓库

#24

允许用户在自己的 GPU 上私密运行 GLM-5.3-Flash 模型，支持 NVIDIA 和 AMD 硬件。它提供了与 OpenAI 和 Anthropic 兼容的引擎、服务器、仪表板和 API。Project Maya 允许用户在自己的 GPU 上私密运行 GLM-5.3-Flash 模型，支持 NVIDIA 和 AMD 硬件。它提供了与 OpenAI 和 Anthropic 兼容的引擎、服务器、仪表板和 API。

openTPU

AI GitHub 仓库

由FeSens开发的开源AI加速器。它将RTL、ISA、模拟器、编译器和分析器集成在一个代码库中，使得在Kintex-7 PCIe卡上执行AI模型（如Qwen3、LFM2.5和Qwen3.5）成为可能。openTPU是由FeSens开发的开源AI加速器。它将RTL、ISA、模拟器、编译器和分析器集成在一个代码库中，使得在Kintex-7 PCIe卡上执行AI模型（如Qwen3、LFM2.5和Qwen3.5）成为可能。

Strata

AI GitHub 仓库

#22

推理引擎，能够在消费硬件上部署 Qwen3.8-Flash-Next。它支持在 Windows 和 Linux 上一键安装，并提供与 OpenAI 和 Anthropic API 的集成，具有可选的图像输入功能。Strata 是一个推理引擎，能够在消费硬件上部署 Qwen3.8-Flash-Next。它支持在 Windows 和 Linux 上一键安装，并提供与 OpenAI 和 Anthropic API 的集成，具有可选的图像输入功能。

fal.ai

AI 平台

#55

面向开发者的生成式媒体平台，提供对 1,000 多个图像、视频、音频和 3D 模型的访问。它提供无服务器 GPU 来运行和微调模型，从而能够快速开发和部署以速度和可扩展性为重点的 AI 驱动应用程序。fal.ai 是一个面向开发者的生成式媒体平台，提供对 1,000 多个图像、视频、音频和 3D 模型的访问。它提供无服务器 GPU 来运行和微调模型，从而能够快速开发和部署以速度和可扩展性为重点的 AI 驱动应用程序。