KServe

Для генеративного ИИ KServe предлагает оптимизированные бэкенды, такие как vLLM и llm-d, для высокопроизводительного обслуживания LLM. Он имеет протокол, совместимый с OpenAI, для бесшовной интеграции, ускорение на GPU с оптимизированным управлением памятью и кэширование моделей для сокращения времени загрузки. Расширенные возможности включают выгрузку KV-кэша для обработки более длинных последовательностей, автоматическое масштабирование на основе запросов, настроенное для генеративных рабочих нагрузок, и нативную поддержку моделей Hugging Face для упрощенного развертывания.

В области предиктивного ИИ KServe поддерживает широкий спектр фреймворков, включая TensorFlow, PyTorch, scikit-learn, XGBoost и ONNX. Он обеспечивает интеллектуальную маршрутизацию между компонентами предиктора, трансформера и экспликатора, а также облегчает расширенные развертывания, такие как поэтапное развертывание (canary rollouts), конвейеры и ансамбли с использованием InferenceGraph. Автоматическое масштабирование, включая масштабирование до нуля для предиктивных рабочих нагрузок, является ключевой функцией, наряду со встроенной объяснимостью моделей для понимания причин прогнозов и расширенным мониторингом для логирования полезной нагрузки, обнаружения выбросов, антагонистических атак и дрейфа. Его экономическая эффективность повышается за счет возможности масштабирования до нуля на дорогостоящих ресурсах, когда они не используются.

KServe предоставляет простой, но мощный API через пользовательское определение ресурсов Kubernetes (CRD) для обслуживания моделей машинного обучения. Он абстрагирует сложности автоматического масштабирования, сетевого взаимодействия, проверки работоспособности и конфигурации сервера, привнося передовые возможности обслуживания в развертывания ML. Платформа обеспечивает стандартный API Kubernetes для различных ML-фреймворков, поддерживает предварительную/пост-обработку и объяснимость, а также предлагает поддержку спецификации OpenAI для LLM, наряду с поэтапным развертыванием и A/B-тестированием для инференса.

Архитектура состоит из плоскости управления (Control Plane), которая управляет жизненным циклом ML-моделей, включая отслеживание ревизий и A/B-тестирование, и плоскости данных (Data Plane), которая предлагает стандартизированный протокол инференса для серверных моделей с API запросов/ответов. Основным ресурсом Kubernetes является InferenceService, который упрощает развертывание ML-моделей с автоматическим масштабированием, сетевым взаимодействием и проверками работоспособности. InferenceGraph обеспечивает расширенные развертывания с конвейерами, ансамблями и многомодельными рабочими процессами. KServe пользуется доверием лидеров отрасли для надежного инференса моделей в масштабе.