Описание
ARBR — это самостоятелный AI шлюз и управляющая плоскость, предназначенные для упрощения управления AI-запросами среди различных поставщиков моделей. Он выступает в качестве центрального узла для маршрутизации, наблюдаемости, управления бюджетом и управления, обеспечивая эффективную и экономичную обработку каждого AI-запроса. Предоставляя единую совместимую с OpenAI конечную точку, ARBR позволяет приложениям бесшовно интегрироваться с более чем 100 поставщиками и 3000 моделями, предлагая комплексный обзор использования AI и его производительности.
Читать далее
Платформа позволяет пользователям направлять задачи к наиболее подходящей модели, отслеживать использование токенов и устанавливать лимиты бюджета перед выполнением. Она также предоставляет подробную аналитику и отчеты, позволяя пользователям измерять затраты, производительность и надежность по поставщику, модели, приложению, рабочему процессу, команде и пользователю. Умные возможности маршрутизации ARBR гарантируют, что запросы автоматически или вручную направляются к соответствующей модели, в то время как кэширование и лимиты токенов помогают предотвратить ненужные расходы.
Функции управления ARBR включают жесткие лимиты и организационные переключатели для предотвращения перерасхода, а также управление идентификацией и доступом для управления правами пользователей. Платформа также поддерживает канареечные и теневые развертывания для новых моделей, что позволяет безопасно внедрять их с мгновенным откатом и воротами регрессии.
Благодаря своей открытой природе и совместимости с существующей инфраструктурой, ARBR является универсальным решением для команд, работающих с AI в производственной среде. Он интегрируется с популярными инструментами мониторинга, такими как OpenTelemetry, Datadog, Grafana и Prometheus, предоставляя комплексный обзор операций AI. ARBR разработан для надежности и простоты развертывания, с возможностями для Docker и локальных установок.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияОткрытый исходный код
- РазвёртываниеDocker, Local
- ПлатформыСовместимый с OpenAI
Основные функции ARBR
Совместимая с OpenAI конечная точка
Маршрутизация и наблюдаемость
Управление бюджетом и управление
Умный выбор модели
Подробная аналитика и отчеты
Управление идентификацией и доступом
Канареечные и теневые развертывания
Открытый исходный код под лицензией MIT
Как использовать ARBR?
Развертывание: Настройте ARBR в вашей среде
Конфигурация: Укажите приложениям шлюз ARBR
Мониторинг: Используйте панели для получения информации
Оптимизация: Настройте маршрутизацию и бюджеты
Варианты использования ARBR
- Управление затратами
- Управление моделями
- Мониторинг производительности
- Умная маршрутизация
- Безопасное развертывание моделей
