RunInfra

通用计算

AI 应用

一个高速AI推理提供商，通过专门构建的ASIC基础设施提供模型，采用与OpenAI兼容的API，针对编码代理和实时语音等对延迟敏感的工作负载，提供低的首次令牌时间和高吞吐量。

LocalAI

AI 应用

#19

开源运行时，采用 MIT 许可证，可以在您拥有的硬件上运行 AI 模型，而不是通过云 API。一个二进制文件提供与 OpenAI、Anthropic、Ollama 和 ElevenLabs 兼容的 API，支持可更换的引擎，如 llama.cpp、vLLM 和 MLX，涵盖聊天、语音、视觉、图像和视频生成，以及代理。LocalAI 是一个开源运行时，采用 MIT 许可证，可以在您拥有的硬件上运行 AI 模型，而不是通过云 API。一个二进制文件提供与 OpenAI、Anthropic、Ollama 和 ElevenLabs 兼容的 API，支持可更换的引擎，如 llama.cpp、vLLM 和 MLX，涵盖聊天、语音、视觉、图像和视频生成，以及代理。

Morph

AI 应用

一个为编码代理构建的推理平台，提供快速的前沿模型以及用于代码搜索、应用编辑、上下文压缩和监控的专业模型，通过一个兼容OpenAI的API进行操作。

BLACKBOX AI

AI 应用

#120

推理平台，通过一个加密的、兼容 OpenAI 的 API，将请求路由到 300 多个开放和封闭的语言模型，并为开放权重模型提供专用的单租户部署。它还提供了一个代理 API 和一个用于编码任务的命令行代理，专为需要快速且不保留数据的工程团队而构建。BLACKBOX AI 是一个推理平台，通过一个加密的、兼容 OpenAI 的 API，将请求路由到 300 多个开放和封闭的语言模型，并为开放权重模型提供专用的单租户部署。它还提供了一个代理 API 和一个用于编码任务的命令行代理，专为需要快速且不保留数据的工程团队而构建。

LLM Gateway

AI GitHub 仓库

#168

多供应商网关，旨在管理大型语言模型，具有路由、故障转移、断路器、缓存、每租户速率限制和成本跟踪等功能。它支持 FastAPI、Claude 和 Bedrock。LLM Gateway 是一个多供应商网关，旨在管理大型语言模型，具有路由、故障转移、断路器、缓存、每租户速率限制和成本跟踪等功能。它支持 FastAPI、Claude 和 Bedrock。

Synexa

AI 应用

#136

无服务器 API，允许通过一行代码运行 AI 模型。它为开发者提供了 100 多个可用于图像、视频、语音和 3D 生成、图像修复和字幕生成以及模型微调的生产就绪模型，运行在 A100 和 H100 GPU 上，具备自动扩展和按需付费定价。Synexa 是一个无服务器 API，允许通过一行代码运行 AI 模型。它为开发者提供了 100 多个可用于图像、视频、语音和 3D 生成、图像修复和字幕生成以及模型微调的生产就绪模型，运行在 A100 和 H100 GPU 上，具备自动扩展和按需付费定价。

APIPark – API 开发者门户

AI 应用

开源的企业级 API 开发者门户和 LLM 网关。它提供统一的 API 签名以支持多个 LLM，并具备负载均衡、流量控制和提示管理功能。APIPark 增强了 LLM 调用的安全性、稳定性和成本优化能力，助力企业将 AI 集成到其运营中。APIPark 是一个开源的企业级 API 开发者门户和 LLM 网关。它提供统一的 API 签名以支持多个 LLM，并具备负载均衡、流量控制和提示管理功能。APIPark 增强了 LLM 调用的安全性、稳定性和成本优化能力，助力企业将 AI 集成到其运营中。

用于开源 AI 模型的推理 API，由云服务提供商 Nebius 构建。它为开发者提供了一个与 OpenAI 兼容的端点，用于实时和批量推理，以及专用 GPU 端点和后训练工具，适用于需要在生产规模上自定义模型的团队。Nebius Token Factory 是一个用于开源 AI 模型的推理 API，由云服务提供商 Nebius 构建。它为开发者提供了一个与 OpenAI 兼容的端点，用于实时和批量推理，以及专用 GPU 端点和后训练工具，适用于需要在生产规模上自定义模型的团队。