Project Maya

LocalAI

AI GitHub 仓库

#44

开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。

GPUStack

AI GitHub 仓库

#115

为高性能 AI 模型服务设计的 GPU 集群管理器，包括 vLLM 和 SGLang，并提供按需 SSH 可访问的 GPU 实例。它促进了 AI 应用程序的 GPU 资源高效管理。GPUStack 是一个为高性能 AI 模型服务设计的 GPU 集群管理器，包括 vLLM 和 SGLang，并提供按需 SSH 可访问的 GPU 实例。它促进了 AI 应用程序的 GPU 资源高效管理。

Shimmy

AI GitHub 仓库

纯 Rust 的 WebGPU 推理引擎，兼容 OpenAI-API，并原生支持 GGUF。它可以在任何 GPU 上运行，无需 Python 或 llama.cpp，提供单一二进制解决方案。Shimmy 是一个纯 Rust 的 WebGPU 推理引擎，兼容 OpenAI-API，并原生支持 GGUF。它可以在任何 GPU 上运行，无需 Python 或 llama.cpp，提供单一二进制解决方案。

openTPU

AI GitHub 仓库

由FeSens开发的开源AI加速器。它将RTL、ISA、模拟器、编译器和分析器集成在一个代码库中，使得在Kintex-7 PCIe卡上执行AI模型（如Qwen3、LFM2.5和Qwen3.5）成为可能。openTPU是由FeSens开发的开源AI加速器。它将RTL、ISA、模拟器、编译器和分析器集成在一个代码库中，使得在Kintex-7 PCIe卡上执行AI模型（如Qwen3、LFM2.5和Qwen3.5）成为可能。

一个免费的工具，可以检测您的GPU或Mac，并显示您可以本地运行的开放AI模型，包括LLMs、编码、图像和视频模型，以及VRAM要求和速度估计。

AirLLM

AI GitHub 仓库

#234

GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。AirLLM是一个GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。

TensorRT-LLM

AI GitHub 仓库

#63

提供了一个用于定义大型语言模型的 Python API，优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件，以高效地协调推理执行。TensorRT-LLM 提供了一个用于定义大型语言模型的 Python API，优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件，以高效地协调推理执行。

GenieX

AI GitHub 仓库

GenieX 使得在 Qualcomm 设备上本地执行前沿 LLM 和 VLM 成为可能，利用 NPU、GPU 和 CPU。它通过最少的代码简化了这一过程，提供高效的 AI 模型部署。