説明
ARBRは、さまざまなモデルプロバイダーにわたるAIリクエストの管理を効率化するために設計された自己ホスト型のAIゲートウェイおよびコントロールプレーンです。ルーティング、可観測性、予算管理、ガバナンスのための中央ハブとして機能し、各AIリクエストが効率的かつコスト効果的に処理されることを保証します。ARBRは、単一のOpenAI互換エンドポイントを提供することで、アプリケーションが100以上のプロバイダーと3,000のモデルとシームレスに統合できるようにし、AIの使用状況とパフォーマンスの包括的なビューを提供します。
続きを読む
このプラットフォームは、ユーザーがタスクを最も適切なモデルにルーティングし、トークン使用量を監視し、実行前に予算制限を強制することを可能にします。また、詳細な分析とレポートを提供し、ユーザーがプロバイダー、モデル、アプリケーション、ワークフロー、チーム、ユーザーごとに支出、パフォーマンス、信頼性を測定できるようにします。ARBRのスマートルーティング機能は、リクエストが自動的または手動で適切なモデルに向けられることを保証し、キャッシングとトークン制限が不必要なコストを防ぎます。
ARBRのガバナンス機能には、過剰支出を防ぐためのハードリミットと組織全体のスイッチ、ユーザー権限を管理するためのアイデンティティおよびアクセス制御が含まれています。このプラットフォームは、新しいモデルのためのカナリアおよびシャドーデプロイメントもサポートしており、安全なロールアウトを可能にし、即時のロールバックと回帰ゲートを提供します。
オープンソースの特性と既存のインフラストラクチャとの互換性を持つARBRは、プロダクションでAIを運用するチームにとって多用途なソリューションです。OpenTelemetry、Datadog、Grafana、Prometheusなどの人気の監視ツールと統合し、AIオペレーションの包括的なビューを提供します。ARBRは信頼性が高く、デプロイが容易に設計されており、Dockerおよびローカルセットアップのオプションがあります。
- カテゴリーMLOps・モデルデプロイ
- 料金モデルオープンソース
- デプロイDocker, Local
- プラットフォームOpenAI互換
ARBRの主要機能
OpenAI互換エンドポイント
ルーティングと可観測性
予算管理とガバナンス
スマートモデル選択
詳細な分析とレポート
アイデンティティとアクセス制御
カナリアおよびシャドーデプロイメント
MITライセンスのオープンソース
ARBRの使い方は?
デプロイ: 環境にARBRをセットアップする
構成: アプリケーションをARBRゲートウェイにポイントする
監視: ダッシュボードを使用して洞察を得る
最適化: ルーティングと予算を調整する
ARBRの使用例
- コスト管理
- モデルガバナンス
- パフォーマンス監視
- スマートルーティング
- 安全なモデルデプロイメント







