描述
ARBR 是一个自托管的 AI 网关和控制平面,旨在简化跨各种模型提供者的 AI 请求管理。它充当路由、可观察性、预算管理和治理的中央枢纽,确保每个 AI 请求都能高效且经济地处理。通过提供一个兼容 OpenAI 的单一端点,ARBR 允许应用程序与超过 100 个提供者和 3,000 个模型无缝集成,提供对 AI 使用和性能的全面视图。
阅读更多
该平台使用户能够将任务路由到最合适的模型,监控令牌使用情况,并在执行前强制预算限制。它还提供详细的分析和报告,使用户能够按提供者、模型、应用程序、工作流、团队和用户来衡量支出、性能和可靠性。ARBR 的智能路由功能确保请求自动或手动定向到适当的模型,而缓存和令牌限制有助于防止不必要的成本。
ARBR 的治理功能包括硬性限制和组织范围的开关,以防止超支,以及身份和访问控制来管理用户权限。该平台还支持新模型的金丝雀和影子部署,能够安全地推出并实现即时回滚和回归门。
凭借其开源特性和与现有基础设施的兼容性,ARBR 是在生产中运行 AI 的团队的多功能解决方案。它与流行的监控工具如 OpenTelemetry、Datadog、Grafana 和 Prometheus 集成,提供对 AI 操作的全面视图。ARBR 旨在可靠且易于部署,支持 Docker 和本地设置选项。
- 类别MLOps 与模型部署
- 定价模式开源
- 部署Docker, Local
- 平台兼容 OpenAI
ARBR的核心功能
兼容 OpenAI 的端点
路由和可观察性
预算管理和治理
智能模型选择
详细的分析和报告
身份和访问控制
金丝雀和影子部署
在 MIT 许可证下开源
如何使用 ARBR?
部署:在您的环境中设置 ARBR
配置:将应用程序指向 ARBR 网关
监控:使用仪表板获取洞察
优化:调整路由和预算
ARBR的使用案例
- 成本管理
- 模型治理
- 性能监控
- 智能路由
- 安全模型部署







