Databricks Feature Store

描述

Databricks Feature Store 作为用于 AI 和机器学习模型特征的中央注册中心。通过在 Unity Catalog 中注册特征表和模型，用户可以获得集成的治理、数据沿袭跟踪、时间点连接以及跨工作空间共享和发现特征的能力。该平台在一个统一的环境中简化了从数据摄取和特征表创建到模型训练和批量推理的整个模型训练工作流程。

关键功能包括用于摄取原始数据、创建特征表、训练模型和执行批量推理的数据管道。它还提供对具有毫秒级延迟的模型和特征服务终结点的单键访问，以及数据和模型监控。当 Databricks Feature Store 中的特征用于训练时，模型会自动跟踪数据沿袭。在推理时，模型会检索最新的特征值。Feature Store 还处理实时应用程序的按需特征计算，通过管理所有特征查找和计算来消除训练-服务偏差并简化客户端代码。

对于启用了 Unity Catalog 的工作空间，Databricks Feature Store 提供了一套强大的工具来开发、发现、共享和提供特征。用户可以创建和管理特征表，定义具有时间窗口聚合的声明式特征，并将其物化以供离线训练或在线服务。通过 Catalog Explorer 和 Features UI 促进特征探索，并支持标签来分类和管理特征表。该平台确保训练数据集的时间点正确性，反映标签观察时点的特征值。在线特征存储可用于为在线应用程序和实时 ML 模型提供特征数据，由 Databricks Lakebase 提供支持。模型服务包括从在线存储自动进行特征查找，并且可以为外部应用程序公开特征服务终结点。推理时的按需特征计算进一步增强了实时功能。治理和数据沿袭通过 Unity Catalog 进行管理，控制访问并提供对特征表、模型和函数数据沿袭的可见性。

Databricks Feature Store的核心功能

• 中央特征注册中心

• Unity Catalog 集成

• 内置治理

• 特征数据沿袭跟踪

• 时间点连接

• 跨工作空间特征共享

• 特征发现

• 统一模型训练工作流程

• 用于特征工程的数据管道

• 批量推理功能

• 在线特征服务终结点

• 实时模型服务

• 按需特征计算

• 消除训练-服务偏差

• 简化客户端代码

如何使用 Databricks Feature Store？

1. 1

   开发特征：使用声明式 API 创建和管理特征表。

2. 2

   物化特征：为离线训练或在线服务准备声明式特征。

3. 3

   发现特征：通过 Catalog Explorer 和 Features UI 探索和管理特征表。

4. 4

   训练模型：利用特征表训练机器学习模型。

5. 5

   提供特征：部署在线特征存储以供实时应用程序使用。

6. 6

   监控数据和模型：跟踪性能并检测漂移。

Databricks Feature Store的使用案例

• ML 模型训练
• 实时推理
• 特征管理
• 数据沿袭跟踪
• 协作特征工程
• 批量评分
• 检索增强生成

Databricks Feature Store的常见问题

• 什么是 Databricks Feature Store？

  Databricks Feature Store 是一个 AI 和 ML 特征的中央注册中心，与 Unity Catalog 集成，提供治理、数据沿袭、时间点连接和在线服务功能。

• Databricks Feature Store 如何帮助模型训练？

  它允许模型自动跟踪训练特征的数据沿袭，并确保推理时使用的特征计算与训练时使用的计算相同，从而消除训练-服务偏差。

• 使用 Unity Catalog 与 Databricks Feature Store 有什么好处？

  Unity Catalog 集成提供了内置治理、数据沿袭跟踪、跨工作空间特征共享以及特征表和模型的发现功能。

• Databricks Feature Store 可以实时提供特征吗？

  是的，它为实时应用程序提供按需特征计算，并提供具有毫秒级延迟的在线特征服务终结点。

• Databricks Feature Store 如何简化客户端代码？

  它处理所有特征查找和计算，大大简化了特征检索和使用所需的客户端代码。

• Databricks Feature Store 中可以存储哪些类型的特征？

  它支持常见的机器学习特征类型，包括密集和稀疏向量、张量、嵌入（作为 ArrayType 或 MapType）和文本（作为 StringType）。

• 如何管理特征治理？

  特征治理，包括对特征表的访问控制，通过 Unity Catalog 进行管理。

• Databricks Feature Store 中的时间点正确性是什么意思？

  它确保在创建训练数据集时，特征值反映了标签观察记录时点的状态，从而防止数据泄露。

• Databricks Feature Store 是否支持特征共享？

  是的，它支持跨工作空间的特征共享和发现，使团队能够协作进行特征开发和使用。

• 什么是特征服务终结点？

  这些是为模型和应用程序（包括 Databricks 内部和外部）提供特征数据的终结点，用于实时推理。