Описание
Databricks Feature Store действует как централизованный реестр признаков, используемых в моделях искусственного интеллекта и машинного обучения. Регистрируя таблицы признаков и модели в Unity Catalog, пользователи получают интегрированное управление, отслеживание происхождения данных, точечные соединения и возможность обмениваться признаками и обнаруживать их в разных рабочих пространствах. Эта платформа оптимизирует весь рабочий процесс обучения моделей, от приема данных и создания таблиц признаков до обучения моделей и пакетного инференса, и все это в единой среде.
Ключевые возможности включают конвейеры данных для приема необработанных данных, создания таблиц признаков, обучения моделей и выполнения пакетного инференса. Он также обеспечивает доступ в один клик к конечным точкам обслуживания моделей и признаков с задержкой в миллисекунды, а также мониторинг данных и моделей. Когда признаки из Databricks Feature Store используются для обучения, модель автоматически отслеживает происхождение данных. Во время инференса модель извлекает последние значения признаков. Feature Store также обрабатывает вычисление признаков по запросу для приложений реального времени, устраняя расхождение между обучением и обслуживанием и упрощая клиентский код, управляя всеми запросами и вычислениями признаков.
Для рабочих пространств с поддержкой Unity Catalog, Databricks Feature Store предлагает надежный набор инструментов для разработки, обнаружения, обмена и обслуживания признаков. Пользователи могут создавать и управлять таблицами признаков, определять декларативные признаки с агрегациями по временным окнам и материализовать их для автономного обучения или онлайн-сервинга. Исследование признаков облегчается через Catalog Explorer и пользовательский интерфейс Features, с поддержкой тегов для категоризации и управления таблицами признаков. Платформа обеспечивает точное соответствие временных точек для обучающих наборов данных, отражая значения признаков на момент наблюдения за меткой. Онлайн-хранилища признаков доступны для обслуживания данных признаков в онлайн-приложениях и моделях машинного обучения в реальном времени, на базе Databricks Lakebase. Обслуживание моделей включает автоматический поиск признаков из онлайн-хранилищ, а конечные точки обслуживания признаков могут быть доступны для внешних приложений. Вычисление признаков по запросу во время инференса дополнительно расширяет возможности реального времени. Управление и отслеживание происхождения данных осуществляются через Unity Catalog, контролируя доступ и обеспечивая видимость происхождения таблиц признаков, моделей и функций.
Основные функции Databricks Feature Store
Централизованный реестр признаков
Интеграция с Unity Catalog
Встроенное управление
Отслеживание происхождения признаков
Точечные соединения
Обмен признаками между рабочими пространствами
Обнаружение признаков
Единый рабочий процесс обучения моделей
Конвейеры данных для инженерии признаков
Возможности пакетного инференса
Конечные точки онлайн-сервинга признаков
Обслуживание моделей в реальном времени
Вычисление признаков по запросу
Устраняет расхождение между обучением и обслуживанием
Упрощает клиентский код
Как использовать Databricks Feature Store?
Разработка признаков: Создавайте и управляйте таблицами признаков с помощью декларативных API.
Материализация признаков: Подготовьте декларативные признаки для автономного обучения или онлайн-сервинга.
Обнаружение признаков: Исследуйте и управляйте таблицами признаков через Catalog Explorer и пользовательский интерфейс Features.
Обучение моделей: Используйте таблицы признаков для обучения моделей машинного обучения.
Обслуживание признаков: Разверните онлайн-хранилища признаков для приложений реального времени.
Мониторинг данных и моделей: Отслеживайте производительность и обнаруживайте дрейф.
Варианты использования Databricks Feature Store
- Обучение моделей машинного обучения
- Инференс в реальном времени
- Управление признаками
- Отслеживание происхождения данных
- Совместная инженерия признаков
- Пакетное скоринг
- Генерация с дополненным поиском
