Описание
Databricks Model Serving предоставляет комплексное решение для предприятий, желающих развернуть классические модели машинного обучения, генеративные AI модели и AI-агентов. Эта платформа поддерживает как собственные модели, такие как Azure OpenAI и AWS Bedrock, так и модели с открытым исходным кодом, такие как Llama и Mistral. Пользователи могут использовать дообученные модели с открытым исходным кодом или классические ML модели, обученные на собственных данных, что позволяет гибко развертывать модели. Развернутые модели могут быть легко использованы в качестве конечных точек в различных рабочих процессах, включая крупномасштабную пакетную интерпретацию и приложения в реальном времени.
Читать далее
Одной из ключевых особенностей Databricks Model Serving является встроенное управление, отслеживание происхождения и возможности мониторинга, которые обеспечивают высокое качество выходных данных. Это особенно важно для организаций, которые требуют строгого соблюдения и контроля своих AI моделей. Платформа упрощает процесс развертывания для всех типов AI моделей и агентов, позволяя пользователям развертывать предобученные модели с открытым исходным кодом или настраиваемые модели, созданные на основе собственных данных, как на ЦП, так и на ГП. Автоматизированное создание контейнеров и управление инфраструктурой снижают затраты на обслуживание и ускоряют развертывание, позволяя компаниям сосредоточиться на предоставлении ценности через свои AI системы.
Databricks Model Serving также предлагает единое управление для всех моделей, что упрощает доступ и управление настраиваемыми ML моделями, такими как PyFunc и scikit-learn, а также базовыми моделями, размещенными на Databricks или других провайдерах. Этот унифицированный пользовательский интерфейс и API упрощают процесс управления, улучшая пользовательский опыт. Более того, платформа позволяет без усилий выполнять пакетную интерпретацию, обеспечивая эффективную, безсерверную AI интерпретацию на больших наборах данных различных типов и моделей. Интеграция с Databricks SQL, Записными книжками и Рабочими процессами облегчает применение AI в масштабах.
Платформа разработана с учетом экономической эффективности, предлагая модели в виде API с низкой задержкой на высокодоступной безсерверной службе с поддержкой как ЦП, так и ГП. Пользователи могут масштабироваться от нуля для удовлетворения критических потребностей и уменьшаться по мере изменения требований, с доступными гибкими ценовыми опциями. Databricks управляет затратами на инфраструктуру и обслуживание, позволяя организациям сосредоточиться на предоставлении бизнес-ценности.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияОплата по токену
- РазвёртываниеБессерверный
- ПлатформыОблако
Основные функции Mosaic AI Model Serving
Единое развертывание для AI моделей
Поддержка классических ML и генеративных AI моделей
Встроенное управление и мониторинг
Автоматизированное создание контейнеров
Легкая пакетная интерпретация
Безсерверная AI интерпретация
Экономичный API с низкой задержкой
Единый интерфейс управления
Как использовать Mosaic AI Model Serving?
Развертывание: Выберите тип вашей модели и разверните ее на Databricks.
Интеграция: Используйте развернутые модели в качестве конечных точек в ваших рабочих процессах.
Мониторинг: Используйте встроенные инструменты управления и мониторинга для обеспечения качества.
Масштабирование: Настройте ресурсы в зависимости от потребностей вашей нагрузки.
Варианты использования Mosaic AI Model Serving
- Рекомендации в реальном времени
- Пакетная обработка
- Управление моделями
- Развертывание настраиваемых моделей
- Масштабируемые AI приложения
