llmspeed

一个免费的工具，可以检测您的GPU或Mac，并显示您可以本地运行的开放AI模型，包括LLMs、编码、图像和视频模型，以及VRAM要求和速度估计。

ComputeArena

AI 应用

提供一个平台，用于社区提交的本地 AI 基准测试。它允许用户比较不同模型、量化和芯片的性能，使用来自社区硬件的签名报告。ComputeArena 提供一个平台，用于社区提交的本地 AI 基准测试。它允许用户比较不同模型、量化和芯片的性能，使用来自社区硬件的签名报告。

vLLM

AI 应用

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它使得 AI 模型的快速部署成为可能，提供先进的性能，使得 LLM 服务对各行业的用户而言变得简单、快速且具有成本效益。vLLM 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它使得 AI 模型的快速部署成为可能，提供先进的性能，使得 LLM 服务对各行业的用户而言变得简单、快速且具有成本效益。

帮助确定您的笔记本电脑是否可以在单个 CPU 上运行 Qwen3.8-27B 或 DeepSeek-V4-Flash-0731。它提供经过验证的 RAM、磁盘和操作系统要求路径，确保高效的本地推理。笔记本 LLM 查找器帮助确定您的笔记本电脑是否可以在单个 CPU 上运行 Qwen3.8-27B 或 DeepSeek-V4-Flash-0731。它提供经过验证的 RAM、磁盘和操作系统要求路径，确保高效的本地推理。

Dreamscale Labs

AI 应用

#180

提供实时云推理服务，专为物理 AI 设计，使机器人团队能够在无需昂贵本地 GPU 的情况下部署和评估模型。该平台优化模型、GPU 内核和网络层，以确保低延迟执行。Dreamscale Labs 提供实时云推理服务，专为物理 AI 设计，使机器人团队能够在无需昂贵本地 GPU 的情况下部署和评估模型。该平台优化模型、GPU 内核和网络层，以确保低延迟执行。

通用计算

AI 应用

一个高速AI推理提供商，通过专门构建的ASIC基础设施提供模型，采用与OpenAI兼容的API，针对编码代理和实时语音等对延迟敏感的工作负载，提供低的首次令牌时间和高吞吐量。

gpt-oss | OpenAI

大语言模型

gpt-oss 包含两个开放权重语言模型，gpt-oss-120b 和 gpt-oss-20b，旨在提供强大的性能和高效的部署。它们在 Apache 2.0 许可下提供，使其可用于各种应用，同时确保安全性和可定制性。

ZETIC Melange

AI 应用

#137

自动化任何模型在任何设备上的设备端 AI 部署。由前高通工程师打造，它可优化 NPU 加速，在 200 多种设备上进行基准测试，并只需三行代码即可在数小时内完成部署，从而降低成本和延迟。ZETIC Melange 自动化任何模型在任何设备上的设备端 AI 部署。由前高通工程师打造，它可优化 NPU 加速，在 200 多种设备上进行基准测试，并只需三行代码即可在数小时内完成部署，从而降低成本和延迟。