Beschreibung
Databricks Feature Store fungiert als zentralisierte Registrierung für Features, die in KI- und Machine-Learning-Modellen verwendet werden. Durch die Registrierung von Feature-Tabellen und Modellen innerhalb von Unity Catalog erhalten Benutzer integrierte Governance, Lineage-Tracking, Point-in-Time-Joins und die Möglichkeit, Features über Workspaces hinweg zu teilen und zu entdecken. Diese Plattform optimiert den gesamten Workflow des Modelltrainings, von der Datenaufnahme und Erstellung von Feature-Tabellen bis hin zum Modelltraining und zur Batch-Inferenz, alles in einer einheitlichen Umgebung.
Zu den Kernfunktionen gehören Datenpipelines für die Aufnahme von Rohdaten, die Erstellung von Feature-Tabellen, das Training von Modellen und die Durchführung von Batch-Inferenzen. Es bietet außerdem Ein-Klick-Zugriff auf Modell- und Feature-Serving-Endpunkte mit Millisekunden-Latenz sowie Daten- und Modellüberwachung. Wenn Features aus Databricks Feature Store für das Training verwendet werden, verfolgt das Modell automatisch die Lineage. Zur Inferenzzeit ruft das Modell die neuesten Feature-Werte ab. Der Feature Store übernimmt auch die On-Demand-Feature-Berechnung für Echtzeitanwendungen, eliminiert Trainings-Serving-Skew und vereinfacht den clientseitigen Code durch die Verwaltung aller Feature-Lookups und -Berechnungen.
Für mit Unity Catalog aktivierte Workspaces bietet Databricks Feature Store eine robuste Sammlung von Tools zur Entwicklung, Entdeckung, Freigabe und Bereitstellung von Features. Benutzer können Feature-Tabellen erstellen und verwalten, deklarative Features mit zeitfensterbasierten Aggregationen definieren und diese für Offline-Training oder Online-Serving materialisieren. Die Feature-Erkundung wird durch den Catalog Explorer und die Features UI erleichtert, mit Unterstützung für Tags zur Kategorisierung und Verwaltung von Feature-Tabellen. Die Plattform gewährleistet die Point-in-Time-Korrektheit für Trainingsdatensätze und spiegelt Feature-Werte zum Zeitpunkt der Label-Beobachtung wider. Online Feature Stores sind für das Serving von Feature-Daten an Online-Anwendungen und Echtzeit-ML-Modelle verfügbar, unterstützt durch Databricks Lakebase. Das Model Serving umfasst die automatische Feature-Suche aus Online-Stores, und Feature-Serving-Endpunkte können für externe Anwendungen bereitgestellt werden. Die On-Demand-Feature-Berechnung zur Inferenzzeit verbessert die Echtzeitfähigkeiten weiter. Governance und Lineage werden über Unity Catalog verwaltet, was die Zugriffskontrolle ermöglicht und Transparenz über die Lineage von Feature-Tabellen, Modellen und Funktionen bietet.
Databricks Feature Store's Kernfunktionen
Zentralisierte Feature-Registrierung
Unity Catalog-Integration
Integrierte Governance
Feature-Lineage-Tracking
Point-in-Time-Joins
Feature-Sharing über Workspaces hinweg
Feature-Entdeckung
Einheitlicher Workflow für das Modelltraining
Datenpipelines für Feature Engineering
Batch-Inferenz-Funktionen
Online-Feature-Serving-Endpunkte
Echtzeit-Modell-Serving
On-Demand-Feature-Berechnung
Eliminiert Trainings-Serving-Skew
Vereinfacht clientseitigen Code
Wie verwendet man Databricks Feature Store?
Features entwickeln: Erstellen und verwalten Sie Feature-Tabellen mit deklarativen APIs.
Features materialisieren: Bereiten Sie deklarative Features für Offline-Training oder Online-Serving vor.
Features entdecken: Erkunden und verwalten Sie Feature-Tabellen über den Catalog Explorer und die Features UI.
Modelle trainieren: Nutzen Sie Feature-Tabellen zum Trainieren von Machine-Learning-Modellen.
Features bereitstellen: Setzen Sie Online Feature Stores für Echtzeitanwendungen ein.
Daten und Modelle überwachen: Verfolgen Sie die Leistung und erkennen Sie Abweichungen.
Databricks Feature Store's Anwendungsfälle
- ML-Modelltraining
- Echtzeit-Inferenz
- Feature-Management
- Data Lineage Tracking
- Kollaboratives Feature Engineering
- Batch-Scoring
- Retrieval Augmented Generation
