Databricks Feature Store

Descripción

Databricks Feature Store actúa como un registro centralizado para las características utilizadas en modelos de inteligencia artificial y aprendizaje automático. Al registrar tablas de características y modelos dentro de Unity Catalog, los usuarios obtienen gobernanza integrada, seguimiento de linaje, uniones de punto en el tiempo y la capacidad de compartir y descubrir características entre espacios de trabajo. Esta plataforma agiliza todo el flujo de trabajo de entrenamiento de modelos, desde la ingesta de datos y la creación de tablas de características hasta el entrenamiento de modelos y la inferencia por lotes, todo dentro de un entorno unificado.

Las capacidades clave incluyen canalizaciones de datos para ingerir datos sin procesar, crear tablas de características, entrenar modelos y realizar inferencias por lotes. También proporciona acceso con un solo clic a puntos finales de servicio de modelos y características con latencia de milisegundos, junto con monitoreo de datos y modelos. Cuando las características de Databricks Feature Store se utilizan para el entrenamiento, el modelo rastrea automáticamente el linaje. En el momento de la inferencia, el modelo recupera los valores de características más recientes. Feature Store también maneja la computación de características bajo demanda para aplicaciones en tiempo real, eliminando el sesgo entre entrenamiento y servicio y simplificando el código del lado del cliente al administrar todas las búsquedas y computaciones de características.

Para los espacios de trabajo habilitados con Unity Catalog, Databricks Feature Store ofrece un conjunto robusto de herramientas para desarrollar, descubrir, compartir y servir características. Los usuarios pueden crear y administrar tablas de características, definir características declarativas con agregaciones de ventanas de tiempo y materializarlas para entrenamiento fuera de línea o servicio en línea. La exploración de características se facilita a través de Catalog Explorer y la interfaz de usuario de Features, con soporte para etiquetas para categorizar y administrar tablas de características. La plataforma garantiza la corrección de punto en el tiempo para los conjuntos de datos de entrenamiento, reflejando los valores de características en el momento de la observación de la etiqueta. Las tiendas de características en línea están disponibles para servir datos de características a aplicaciones en línea y modelos de ML en tiempo real, impulsadas por Databricks Lakebase. El servicio de modelos incluye la búsqueda automática de características de las tiendas en línea, y los puntos finales de servicio de características se pueden exponer para aplicaciones externas. La computación de características bajo demanda en el momento de la inferencia mejora aún más las capacidades en tiempo real. La gobernanza y el linaje se administran a través de Unity Catalog, controlando el acceso y proporcionando visibilidad del linaje de tablas de características, modelos y funciones.

Características principales de Databricks Feature Store

• Registro centralizado de características

• Integración con Unity Catalog

• Gobernanza integrada

• Seguimiento de linaje de características

• Uniones de punto en el tiempo

• Compartir características entre espacios de trabajo

• Descubrimiento de características

• Flujo de trabajo unificado de entrenamiento de modelos

• Canalizaciones de datos para ingeniería de características

• Capacidades de inferencia por lotes

• Puntos finales de servicio de características en línea

• Servicio de modelos en tiempo real

• Computación de características bajo demanda

• Elimina el sesgo entre entrenamiento y servicio

• Simplifica el código del lado del cliente

¿Cómo usar Databricks Feature Store?

1. 1

   Desarrollar características: Cree y administre tablas de características utilizando APIs declarativas.

2. 2

   Materializar características: Prepare características declarativas para entrenamiento fuera de línea o servicio en línea.

3. 3

   Descubrir características: Explore y administre tablas de características a través de Catalog Explorer y la interfaz de usuario de Features.

4. 4

   Entrenar modelos: Utilice tablas de características para entrenar modelos de aprendizaje automático.

5. 5

   Servir características: Implemente tiendas de características en línea para aplicaciones en tiempo real.

6. 6

   Monitorear datos y modelos: Rastree el rendimiento y detecte desviaciones.

Casos de uso de Databricks Feature Store

• Entrenamiento de Modelos de ML
• Inferencia en Tiempo Real
• Gestión de Características
• Seguimiento de Linaje de Datos
• Ingeniería Colaborativa de Características
• Puntuación por Lotes
• Generación Aumentada por Recuperación

Preguntas frecuentes de Databricks Feature Store

• ¿Qué es Databricks Feature Store?

  Databricks Feature Store es un registro central para características de IA y ML, integrado con Unity Catalog, que proporciona capacidades de gobernanza, linaje, uniones de punto en el tiempo y servicio en línea.

• ¿Cómo ayuda Databricks Feature Store con el entrenamiento de modelos?

  Permite que los modelos rastreen automáticamente el linaje de las características de entrenamiento y asegura que las computaciones de características utilizadas en la inferencia sean las mismas que las utilizadas durante el entrenamiento, eliminando el sesgo entre entrenamiento y servicio.

• ¿Cuáles son los beneficios de usar Unity Catalog con Databricks Feature Store?

  La integración con Unity Catalog proporciona gobernanza integrada, seguimiento de linaje, intercambio de características entre espacios de trabajo y descubrimiento de tablas de características y modelos.

• ¿Puede Databricks Feature Store servir características en tiempo real?

  Sí, proporciona computación de características bajo demanda para aplicaciones en tiempo real y ofrece puntos finales de servicio de características en línea con latencia de milisegundos.

• ¿Cómo simplifica Databricks Feature Store el código del lado del cliente?

  Maneja todas las búsquedas y computaciones de características, simplificando significativamente el código del lado del cliente requerido para la recuperación y el uso de características.

• ¿Qué tipo de características se pueden almacenar en Databricks Feature Store?

  Soporta tipos comunes de características de aprendizaje automático, incluyendo vectores densos y dispersos, tensores, embeddings (como ArrayType o MapType) y texto (como StringType).

• ¿Cómo se gestiona la gobernanza de características?

  La gobernanza de características, incluido el control de acceso a las tablas de características, se gestiona a través de Unity Catalog.

• ¿Qué es la corrección de punto en el tiempo en Databricks Feature Store?

  Asegura que al crear un conjunto de datos de entrenamiento, los valores de las características reflejen el estado en el momento en que se registró una observación de etiqueta, evitando la fuga de datos.

• ¿Databricks Feature Store soporta el intercambio de características?

  Sí, permite compartir y descubrir características entre espacios de trabajo, lo que permite a los equipos colaborar en el desarrollo y uso de características.

• ¿Qué son los puntos finales de servicio de características?

  Estos son puntos finales que sirven datos de características a modelos y aplicaciones, tanto dentro como fuera de Databricks, para inferencia en tiempo real.