跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

ARBR

ARBR 是一个开放的 AI 网关和控制平面,管理多个模型提供者之间的路由、可观察性、预算和治理。它通过为每个任务选择合适的模型并提供详细的成本和性能洞察,确保高效的 AI 请求处理。

访问URL
分享
ARBR 截图
ARBR 截图

ARBR 是一个自托管的 AI 网关和控制平面,旨在简化跨各种模型提供者的 AI 请求管理。它充当路由、可观察性、预算管理和治理的中央枢纽,确保每个 AI 请求都能高效且经济地处理。通过提供一个兼容 OpenAI 的单一端点,ARBR 允许应用程序与超过 100 个提供者和 3,000 个模型无缝集成,提供对 AI 使用和性能的全面视图。

阅读更多

该平台使用户能够将任务路由到最合适的模型,监控令牌使用情况,并在执行前强制预算限制。它还提供详细的分析和报告,使用户能够按提供者、模型、应用程序、工作流、团队和用户来衡量支出、性能和可靠性。ARBR 的智能路由功能确保请求自动或手动定向到适当的模型,而缓存和令牌限制有助于防止不必要的成本。

ARBR 的治理功能包括硬性限制和组织范围的开关,以防止超支,以及身份和访问控制来管理用户权限。该平台还支持新模型的金丝雀和影子部署,能够安全地推出并实现即时回滚和回归门。

凭借其开源特性和与现有基础设施的兼容性,ARBR 是在生产中运行 AI 的团队的多功能解决方案。它与流行的监控工具如 OpenTelemetry、Datadog、Grafana 和 Prometheus 集成,提供对 AI 操作的全面视图。ARBR 旨在可靠且易于部署,支持 Docker 和本地设置选项。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署Docker, Local
  • 平台兼容 OpenAI

  • 兼容 OpenAI 的端点

  • 路由和可观察性

  • 预算管理和治理

  • 智能模型选择

  • 详细的分析和报告

  • 身份和访问控制

  • 金丝雀和影子部署

  • 在 MIT 许可证下开源

  1. 部署:在您的环境中设置 ARBR

  2. 配置:将应用程序指向 ARBR 网关

  3. 监控:使用仪表板获取洞察

  4. 优化:调整路由和预算

  • 成本管理
  • 模型治理
  • 性能监控
  • 智能路由
  • 安全模型部署

ARBR 评价

加载中...

与 ARBR 类似的热门AI工具

Auriko

AI 应用

Aurikо 是一个用于 LLM 推理的 AI 控制平面,提供模型网关、智能路由、可观察性和 FinOps,集成于一个平台中。它使用户能够在无缝集成现有 AI 生态系统的同时优化成本和性能。

AI DevOps 与云工具
查看工具

AI 应用

Aurikо 是一个用于 LLM 推理的 AI 控制平面,提供模型网关、智能路由、可观察性和 FinOps,集成于一个平台中。它使用户能够在无缝集成现有 AI 生态系统的同时优化成本和性能。

AI DevOps 与云工具
查看 AI 应用 Top 250

UsageGuard

AI 应用

UsageGuard 是一个企业级 AI 开发可观测性平台。它提供统一的 API 来访问多个 AI 模型,内置安全防护、审核、成本控制以及详细的最终用户和使用情况跟踪,以实现安全高效的 AI 应用开发。

MLOps 与模型部署

监控AI模型 排名第 189 位

查看工具

AI 应用

企业级 AI 开发可观测性平台。它提供统一的 API 来访问多个 AI 模型,内置安全防护、审核、成本控制以及详细的最终用户和使用情况跟踪,以实现安全高效的 AI 应用开发。UsageGuard 是一个企业级 AI 开发可观测性平台。它提供统一的 API 来访问多个 AI 模型,内置安全防护、审核、成本控制以及详细的最终用户和使用情况跟踪,以实现安全高效的 AI 应用开发。

MLOps 与模型部署
监控AI模型 排名第 189 位

Eden AI

AI 应用

Eden AI 提供统一的 API,可访问 500 多个领先的 AI 模型,包括 LLM 以及用于语音、视觉和 OCR 的专业 AI。它支持基于成本、性能和区域的智能路由,并内置了故障转移机制以增强鲁棒性和控制力。

MLOps 与模型部署

MLOps 与模型部署 排名第 84 位

查看工具

AI 应用

提供统一的 API,可访问 500 多个领先的 AI 模型,包括 LLM 以及用于语音、视觉和 OCR 的专业 AI。它支持基于成本、性能和区域的智能路由,并内置了故障转移机制以增强鲁棒性和控制力。Eden AI 提供统一的 API,可访问 500 多个领先的 AI 模型,包括 LLM 以及用于语音、视觉和 OCR 的专业 AI。它支持基于成本、性能和区域的智能路由,并内置了故障转移机制以增强鲁棒性和控制力。

MLOps 与模型部署
MLOps 与模型部署 排名第 84 位

ModelOp 的企业人工智能指挥中心是一个全面的记录系统,自动化生命周期管理,执行治理,并在机器学习、生成性人工智能和代理人工智能中生成运营智能,从而加快生产并最大化投资回报。

MLOps 与模型部署金融与银行

首席技术官 排名第 42 位

查看工具

ModelOp 的企业人工智能指挥中心是一个全面的记录系统,自动化生命周期管理,执行治理,并在机器学习、生成性人工智能和代理人工智能中生成运营智能,从而加快生产并最大化投资回报。

MLOps 与模型部署金融与银行
首席技术官 排名第 42 位

FastRouter.ai

AI 应用

FastRouter.ai 是一个统一的 API 网关,使企业 AI 团队能够通过单一的 OpenAI 兼容 API 路由、比较和操作超过 200 种语言模型。它提供自动路由、故障转移、成本控制和可观察性等功能,以优化 AI 工作负载。

AI DevOps 与云工具

微调AI模型 排名第 85 位

查看工具

AI 应用

统一的 API 网关,使企业 AI 团队能够通过单一的 OpenAI 兼容 API 路由、比较和操作超过 200 种语言模型。它提供自动路由、故障转移、成本控制和可观察性等功能,以优化 AI 工作负载。FastRouter.ai 是一个统一的 API 网关,使企业 AI 团队能够通过单一的 OpenAI 兼容 API 路由、比较和操作超过 200 种语言模型。它提供自动路由、故障转移、成本控制和可观察性等功能,以优化 AI 工作负载。

AI DevOps 与云工具
微调AI模型 排名第 85 位

OpenLIT

AI 应用

OpenLIT 是一个开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。

MLOps 与模型部署

提示工程师 排名第 38 位

查看工具

AI 应用

开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。OpenLIT 是一个开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。

MLOps 与模型部署
提示工程师 排名第 38 位

Respan 是一个 LLM 工程平台,统一了可观察性、评估、提示优化和 AI 网关,使团队能够高效地交付可靠的 AI 应用程序。

MLOps 与模型部署

提示工程师 排名第 47 位

查看工具

LLM 工程平台,统一了可观察性、评估、提示优化和 AI 网关,使团队能够高效地交付可靠的 AI 应用程序。Respan 是一个 LLM 工程平台,统一了可观察性、评估、提示优化和 AI 网关,使团队能够高效地交付可靠的 AI 应用程序。

MLOps 与模型部署
提示工程师 排名第 47 位

TokenDance

AI 应用

TokenDance 是一个统一的 AI API 网关,支持 OpenAI、Claude 和 Gemini 等多个模型。它为开发者提供无缝集成,便于访问文本、图像、视频和语音模型,并具备智能路由和统一计费功能。

MLOps 与模型部署

MLOps 与模型部署 排名第 130 位

查看工具

AI 应用

统一的 AI API 网关,支持 OpenAI、Claude 和 Gemini 等多个模型。它为开发者提供无缝集成,便于访问文本、图像、视频和语音模型,并具备智能路由和统一计费功能。TokenDance 是一个统一的 AI API 网关,支持 OpenAI、Claude 和 Gemini 等多个模型。它为开发者提供无缝集成,便于访问文本、图像、视频和语音模型,并具备智能路由和统一计费功能。

MLOps 与模型部署
MLOps 与模型部署 排名第 130 位
1/8