oMLX

omlx

AI GitHub 仓库

#181

为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。omlx 是一个为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。

通用计算

AI 应用

一个高速AI推理提供商，通过专门构建的ASIC基础设施提供模型，采用与OpenAI兼容的API，针对编码代理和实时语音等对延迟敏感的工作负载，提供低的首次令牌时间和高吞吐量。

RunInfra

AI 应用

#99

托管的 API 网关，支持开源 AI 模型，为开发者提供一个与 OpenAI 和 Anthropic SDK 兼容的 API 密钥。它通过会话感知缓存服务模型，如 Nemotron、Qwen 和 Ornith，以降低 AI 代理的延迟和成本。RunInfra 是一个托管的 API 网关，支持开源 AI 模型，为开发者提供一个与 OpenAI 和 Anthropic SDK 兼容的 API 密钥。它通过会话感知缓存服务模型，如 Nemotron、Qwen 和 Ornith，以降低 AI 代理的延迟和成本。

vLLM

AI 应用

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它使得 AI 模型的快速部署成为可能，提供先进的性能，使得 LLM 服务对各行业的用户而言变得简单、快速且具有成本效益。vLLM 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它使得 AI 模型的快速部署成为可能，提供先进的性能，使得 LLM 服务对各行业的用户而言变得简单、快速且具有成本效益。

Inference.net

AI 应用

#78

AI 原生团队提供基础设施，以运行、监控和优化 AI 工作负载。它为开源、自定义和微调模型提供超快推理，确保低成本和快速延迟。Inference.net 为 AI 原生团队提供基础设施，以运行、监控和优化 AI 工作负载。它为开源、自定义和微调模型提供超快推理，确保低成本和快速延迟。

Runware

AI 应用

生成性 AI 推理平台，提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型，管理基础设施，并基于使用量定价，构建在自定义推理引擎之上。Runware 是一个生成性 AI 推理平台，提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型，管理基础设施，并基于使用量定价，构建在自定义推理引擎之上。

BLACKBOX AI

AI 应用

#124

推理平台，通过一个加密的、兼容 OpenAI 的 API，将请求路由到 300 多个开放和封闭的语言模型，并为开放权重模型提供专用的单租户部署。它还提供了一个代理 API 和一个用于编码任务的命令行代理，专为需要快速且不保留数据的工程团队而构建。BLACKBOX AI 是一个推理平台，通过一个加密的、兼容 OpenAI 的 API，将请求路由到 300 多个开放和封闭的语言模型，并为开放权重模型提供专用的单租户部署。它还提供了一个代理 API 和一个用于编码任务的命令行代理，专为需要快速且不保留数据的工程团队而构建。

Chutes | 无服务器 AI 计算

AI 应用

无服务器 AI 计算平台，允许用户在几秒钟内部署、运行和扩展任何 AI 模型。它专注于开源模型，为 AI 开发者和企业提供灵活高效的环境。Chutes 是一个无服务器 AI 计算平台，允许用户在几秒钟内部署、运行和扩展任何 AI 模型。它专注于开源模型，为 AI 开发者和企业提供灵活高效的环境。