ComputeArena

一个免费的工具，可以检测您的GPU或Mac，并显示您可以本地运行的开放AI模型，包括LLMs、编码、图像和视频模型，以及VRAM要求和速度估计。

本地AI游乐场

AI 应用

免费、开源的原生应用程序，可离线和私密运行AI模型。它通过Rust后端简化了AI推理，无需GPU。轻松管理模型、验证完整性并启动流式服务器，使AI无需技术设置即可访问。本地AI游乐场是一款免费、开源的原生应用程序，可离线和私密运行AI模型。它通过Rust后端简化了AI推理，无需GPU。轻松管理模型、验证完整性并启动流式服务器，使AI无需技术设置即可访问。

ZETIC Melange

AI 应用

#137

自动化任何模型在任何设备上的设备端 AI 部署。由前高通工程师打造，它可优化 NPU 加速，在 200 多种设备上进行基准测试，并只需三行代码即可在数小时内完成部署，从而降低成本和延迟。ZETIC Melange 自动化任何模型在任何设备上的设备端 AI 部署。由前高通工程师打造，它可优化 NPU 加速，在 200 多种设备上进行基准测试，并只需三行代码即可在数小时内完成部署，从而降低成本和延迟。

通用计算

AI 应用

一个高速AI推理提供商，通过专门构建的ASIC基础设施提供模型，采用与OpenAI兼容的API，针对编码代理和实时语音等对延迟敏感的工作负载，提供低的首次令牌时间和高吞吐量。

OpenAI Evals 框架

AI GitHub 仓库

用于评估大型语言模型（LLMs）和 LLM 系统的框架。它作为一个开源基准注册库，促进了对 AI 模型性能和能力的评估。OpenAI Evals 是一个用于评估大型语言模型（LLMs）和 LLM 系统的框架。它作为一个开源基准注册库，促进了对 AI 模型性能和能力的评估。

TokenSpeed

AI GitHub 仓库

#189

高性能的 LLM 推理引擎，旨在提供快速的处理速度。它针对大型语言模型进行了优化，为 AI 开发者和研究人员提供高效且可扩展的解决方案。TokenSpeed 是一个高性能的 LLM 推理引擎，旨在提供快速的处理速度。它针对大型语言模型进行了优化，为 AI 开发者和研究人员提供高效且可扩展的解决方案。

Project Maya

AI GitHub 仓库

#24

允许用户在自己的 GPU 上私密运行 GLM-5.3-Flash 模型，支持 NVIDIA 和 AMD 硬件。它提供了与 OpenAI 和 Anthropic 兼容的引擎、服务器、仪表板和 API。Project Maya 允许用户在自己的 GPU 上私密运行 GLM-5.3-Flash 模型，支持 NVIDIA 和 AMD 硬件。它提供了与 OpenAI 和 Anthropic 兼容的引擎、服务器、仪表板和 API。

Models.dev

AI 应用

开源数据库，提供有关 AI 模型规格、定价和功能的全面信息。它提供来自领先实验室的各种模型的见解，帮助用户在 AI 应用中做出明智的决策。Models.dev 是一个开源数据库，提供有关 AI 模型规格、定价和功能的全面信息。它提供来自领先实验室的各种模型的见解，帮助用户在 AI 应用中做出明智的决策。