Databricks Feature Store

Description

Databricks Feature Store agit comme un registre centralisé pour les caractéristiques utilisées dans les modèles d'IA et d'apprentissage automatique. En enregistrant les tables de caractéristiques et les modèles au sein de Unity Catalog, les utilisateurs bénéficient d'une gouvernance intégrée, d'un suivi de lignée, de jointures point-dans-le-temps et de la possibilité de partager et de découvrir des caractéristiques entre les espaces de travail. Cette plateforme rationalise l'ensemble du flux de travail d'entraînement de modèles, de l'ingestion de données et de la création de tables de caractéristiques à l'entraînement de modèles et à l'inférence par lots, le tout dans un environnement unifié.

Les capacités clés comprennent des pipelines de données pour l'ingestion de données brutes, la création de tables de caractéristiques, l'entraînement de modèles et la réalisation d'inférences par lots. Il fournit également un accès en un clic aux points d'accès de diffusion de modèles et de caractéristiques avec une latence de millisecondes, ainsi qu'à la surveillance des données et des modèles. Lorsque les caractéristiques de Databricks Feature Store sont utilisées pour l'entraînement, le modèle suit automatiquement la lignée. Au moment de l'inférence, le modèle récupère les dernières valeurs de caractéristiques. Le Feature Store gère également le calcul de caractéristiques à la demande pour les applications en temps réel, éliminant ainsi le décalage entraînement-diffusion et simplifiant le code côté client en gérant toutes les recherches et tous les calculs de caractéristiques.

Pour les espaces de travail activés avec Unity Catalog, Databricks Feature Store offre un ensemble robuste d'outils pour développer, découvrir, partager et diffuser des caractéristiques. Les utilisateurs peuvent créer et gérer des tables de caractéristiques, définir des caractéristiques déclaratives avec des agrégations temporelles et les matérialiser pour l'entraînement hors ligne ou la diffusion en ligne. L'exploration des caractéristiques est facilitée par Catalog Explorer et l'interface utilisateur des caractéristiques, avec la prise en charge des balises pour catégoriser et gérer les tables de caractéristiques. La plateforme garantit la correction point-dans-le-temps pour les ensembles de données d'entraînement, reflétant les valeurs des caractéristiques au moment de l'observation des étiquettes. Les Feature Stores en ligne sont disponibles pour diffuser des données de caractéristiques vers des applications en ligne et des modèles ML en temps réel, alimentés par Databricks Lakebase. La diffusion de modèles inclut la recherche automatique de caractéristiques à partir des magasins en ligne, et les points d'accès de diffusion de caractéristiques peuvent être exposés pour les applications externes. Le calcul de caractéristiques à la demande au moment de l'inférence améliore encore les capacités en temps réel. La gouvernance et la lignée sont gérées via Unity Catalog, contrôlant l'accès et offrant une visibilité sur la lignée des tables de caractéristiques, des modèles et des fonctions.

Fonctionnalités principales de Databricks Feature Store

• Registre centralisé des caractéristiques

• Intégration Unity Catalog

• Gouvernance intégrée

• Suivi de la lignée des caractéristiques

• Jointures point-dans-le-temps

• Partage de caractéristiques entre espaces de travail

• Découverte de caractéristiques

• Flux de travail unifié d'entraînement de modèles

• Pipelines de données pour l'ingénierie des caractéristiques

• Capacités d'inférence par lots

• Points d'accès de diffusion de caractéristiques en ligne

• Diffusion de modèles en temps réel

• Calcul de caractéristiques à la demande

• Élimine le décalage entraînement-diffusion

• Simplifie le code côté client

Comment utiliser Databricks Feature Store ?

1. 1

   Développer des caractéristiques : Créez et gérez des tables de caractéristiques à l'aide d'API déclaratives.

2. 2

   Matérialiser des caractéristiques : Préparez des caractéristiques déclaratives pour l'entraînement hors ligne ou la diffusion en ligne.

3. 3

   Découvrir des caractéristiques : Explorez et gérez les tables de caractéristiques via Catalog Explorer et l'interface utilisateur des caractéristiques.

4. 4

   Entraîner des modèles : Utilisez des tables de caractéristiques pour entraîner des modèles d'apprentissage automatique.

5. 5

   Diffuser des caractéristiques : Déployez des magasins de caractéristiques en ligne pour les applications en temps réel.

6. 6

   Surveiller les données et les modèles : Suivez les performances et détectez les dérives.

Cas d'utilisation de Databricks Feature Store

• Entraînement de modèles ML
• Inférence en temps réel
• Gestion des caractéristiques
• Suivi de la lignée des données
• Ingénierie collaborative des caractéristiques
• Scoring par lots
• Génération Augmentée par Récupération

FAQ de Databricks Feature Store

• Qu'est-ce que Databricks Feature Store ?

  Databricks Feature Store est un registre central pour les caractéristiques d'IA et de ML, intégré à Unity Catalog, offrant des capacités de gouvernance, de lignée, de jointures point-dans-le-temps et de diffusion en ligne.

• Comment Databricks Feature Store aide-t-il à l'entraînement de modèles ?

  Il permet aux modèles de suivre automatiquement la lignée des caractéristiques d'entraînement et garantit que les calculs de caractéristiques utilisés lors de l'inférence sont les mêmes que ceux utilisés pendant l'entraînement, éliminant ainsi le décalage entraînement-diffusion.

• Quels sont les avantages de l'utilisation de Unity Catalog avec Databricks Feature Store ?

  L'intégration de Unity Catalog offre une gouvernance intégrée, un suivi de lignée, le partage de caractéristiques entre espaces de travail et la découverte de tables de caractéristiques et de modèles.

• Databricks Feature Store peut-il diffuser des caractéristiques en temps réel ?

  Oui, il fournit un calcul de caractéristiques à la demande pour les applications en temps réel et offre des points d'accès de diffusion de caractéristiques en ligne avec une latence de millisecondes.

• Comment Databricks Feature Store simplifie-t-il le code côté client ?

  Il gère toutes les recherches et tous les calculs de caractéristiques, simplifiant considérablement le code côté client requis pour la récupération et l'utilisation des caractéristiques.

• Quel type de caractéristiques peut être stocké dans Databricks Feature Store ?

  Il prend en charge les types de caractéristiques d'apprentissage automatique courants, y compris les vecteurs denses et épars, les tenseurs, les embeddings (sous forme de ArrayType ou MapType) et le texte (sous forme de StringType).

• Comment la gouvernance des caractéristiques est-elle gérée ?

  La gouvernance des caractéristiques, y compris le contrôle d'accès aux tables de caractéristiques, est gérée via Unity Catalog.

• Qu'est-ce que la correction point-dans-le-temps dans Databricks Feature Store ?

  Elle garantit que lors de la création d'un ensemble de données d'entraînement, les valeurs des caractéristiques reflètent l'état au moment où une observation d'étiquette a été enregistrée, empêchant ainsi la fuite de données.

• Databricks Feature Store prend-il en charge le partage de caractéristiques ?

  Oui, il permet le partage et la découverte de caractéristiques entre espaces de travail, permettant aux équipes de collaborer sur le développement et l'utilisation des caractéristiques.

• Que sont les points d'accès de diffusion de caractéristiques ?

  Ce sont des points d'accès qui diffusent des données de caractéristiques aux modèles et aux applications, à l'intérieur et à l'extérieur de Databricks, pour l'inférence en temps réel.