설명
ARBR는 다양한 모델 제공업체 간의 AI 요청 관리를 간소화하도록 설계된 자체 호스팅 AI 게이트웨이 및 제어 플레인입니다. 라우팅, 관찰 가능성, 예산 관리 및 거버넌스를 위한 중앙 허브 역할을 하여 각 AI 요청이 효율적이고 비용 효과적으로 처리되도록 보장합니다. OpenAI 호환 엔드포인트를 제공함으로써 ARBR는 애플리케이션이 100개 이상의 제공업체와 3,000개 모델과 원활하게 통합될 수 있도록 하여 AI 사용 및 성능에 대한 포괄적인 뷰를 제공합니다.
더 읽기
이 플랫폼은 사용자가 가장 적합한 모델로 작업을 라우팅하고, 토큰 사용량을 모니터링하며, 실행 전에 예산 한도를 적용할 수 있도록 합니다. 또한 제공업체, 모델, 애플리케이션, 워크플로, 팀 및 사용자별로 지출, 성능 및 신뢰성을 측정할 수 있는 자세한 분석 및 보고서를 제공합니다. ARBR의 스마트 라우팅 기능은 요청이 자동 또는 수동으로 적절한 모델로 전달되도록 보장하며, 캐싱 및 토큰 한도는 불필요한 비용을 방지하는 데 도움을 줍니다.
ARBR의 거버넌스 기능에는 과도한 지출을 방지하기 위한 하드 리미트 및 조직 전체 스위치, 사용자 권한 관리를 위한 신원 및 접근 제어가 포함됩니다. 이 플랫폼은 또한 새로운 모델에 대한 카나리 및 섀도우 배포를 지원하여 즉각적인 롤백 및 회귀 게이트가 있는 안전한 롤아웃을 가능하게 합니다.
오픈 소스 특성과 기존 인프라와의 호환성 덕분에 ARBR는 프로덕션에서 AI를 운영하는 팀을 위한 다재다능한 솔루션입니다. OpenTelemetry, Datadog, Grafana 및 Prometheus와 같은 인기 있는 모니터링 도구와 통합되어 AI 운영에 대한 포괄적인 뷰를 제공합니다. ARBR는 신뢰할 수 있고 배포가 용이하도록 설계되었으며, Docker 및 로컬 설정 옵션을 제공합니다.
- 카테고리MLOps 및 모델 배포
- 요금제오픈 소스
- 배포Docker, Local
- 플랫폼OpenAI 호환
ARBR의 핵심 기능
OpenAI 호환 엔드포인트
라우팅 및 관찰 가능성
예산 관리 및 거버넌스
스마트 모델 선택
자세한 분석 및 보고
신원 및 접근 제어
카나리 및 섀도우 배포
MIT 라이선스 하의 오픈 소스
ARBR 사용 방법은?
배포: 환경에 ARBR 설정
구성: 애플리케이션을 ARBR 게이트웨이에 연결
모니터링: 대시보드를 사용하여 통찰력 얻기
최적화: 라우팅 및 예산 조정
ARBR의 사용 사례
- 비용 관리
- 모델 거버넌스
- 성능 모니터링
- 스마트 라우팅
- 안전한 모델 배포
