Описание
Seldon Core 2 — это комплексный фреймворк MLOps и LLMOps, предназначенный для развертывания, управления и масштабирования систем ИИ в средах Kubernetes. Он предоставляет стандартизированный подход к развертыванию разнообразных типов моделей, как локально, так и в любом облаке, обеспечивая готовые к эксплуатации приложения «из коробки». Этот фреймворк особенно хорошо подходит для работы как с отдельными моделями, так и со сложными, модульными и ориентированными на данные приложениями.
Читать далее
Возможности фреймворка включают создание композитных ИИ-приложений с помощью конвейеров, которые могут использовать такие технологии, как Kafka, для потоковой передачи данных в реальном времени между различными компонентами. Он предлагает надежные функции автоматического масштабирования как для моделей, так и для компонентов приложений, управляемые встроенной или пользовательской логикой. Для экономической эффективности Seldon Core поддерживает обслуживание нескольких моделей, позволяя консолидировать несколько моделей на общих серверах вывода, и функцию переподписки (overcommit) для развертывания большего количества моделей, чем позволяет доступная память, что снижает затраты на инфраструктуру для неиспользуемых ресурсов.
Seldon Core также способствует экспериментам благодаря своим возможностям маршрутизации, позволяя проводить A/B-тестирование и теневое развертывание для кандидатных моделей или конвейеров. Пользователи могут реализовывать пользовательскую логику, обнаружение дрейфа и выбросов, а также интегрироваться с большими языковыми моделями (LLM) через подключаемые пользовательские компоненты, беспрепятственно интегрируясь с более широкой экосистемой продуктов ML/AI от Seldon. На фреймворк повлияли исследования в области фреймворков следующего поколения для обслуживания ML-моделей, направленные на удовлетворение ключевых потребностей в продвинутом обслуживании моделей.
Установка и настройка управляются в рамках Kubernetes, с обширной документацией, доступной для серверов, моделей, конвейеров, экспериментов и оптимизации производительности. Seldon Core распространяется на условиях лицензии Business Source License, при этом все вклады также лицензируются на этих условиях. Проект активно развивается, имеет сильное сообщество и регулярные обновления, что делает его мощным инструментом для организаций, стремящихся масштабировать свои инициативы в области ИИ.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияОткрытый код
- РазвёртываниеKubernetes
Основные функции Seldon Core
Фреймворк MLOps и LLMOps
Развертывание нативно для Kubernetes
Стандартизированное развертывание моделей
Модульные и ориентированные на данные ИИ-приложения
Композитные конвейеры ИИ
Потоковая передача данных в реальном времени с Kafka
Автоматическое масштабирование моделей и компонентов
Обслуживание нескольких моделей для экономической эффективности
Переподписка (Overcommit) для увеличения плотности моделей
A/B-тестирование и теневое развертывание
Интеграция пользовательских компонентов (LLM, обнаружение дрейфа)
Готовность к эксплуатации «из коробки»
Поддержка локального и облачного развертывания
Начало работы с Seldon Core
Развертывание: Упакуйте и разверните ваши модели машинного обучения и ИИ-приложения на Kubernetes.
Настройка: Настройте конвейеры, автоматическое масштабирование и конфигурации обслуживания нескольких моделей.
Интеграция: Интегрируйте пользовательские компоненты для расширенной логики и LLM.
Мониторинг: Используйте встроенные возможности мониторинга для производственных систем.
Управление: Контролируйте и управляйте тысячами производственных моделей машинного обучения.
Оптимизация: Настройте производительность и экспериментируйте с различными стратегиями маршрутизации моделей.
Варианты использования Seldon Core
- Развертывание моделей
- Оркестрация ИИ-приложений
- Вывод в реальном времени
- Оптимизация затрат
- Эксперименты с моделями
- LLMOps
- Ориентированный на данные ИИ
