TensorFlow Extended (TFX)

Im Kern bietet TFX ein Toolkit zum Erstellen von ML-Pipelines. Diese Pipelines können über verschiedene Plattformen hinweg orchestriert werden, darunter Apache Airflow, Apache Beam und Kubeflow Pipelines, was Flexibilität bei der Bereitstellung bietet. Die Plattform verfügt außerdem über eine Reihe von Standardkomponenten, die bewährte Funktionalität bieten und die Anfangsphasen des Aufbaus eines ML-Prozesses vereinfachen. Diese Komponenten können unabhängig oder als Teil einer größeren Pipeline verwendet werden. Darüber hinaus enthält TFX Bibliotheken, die die grundlegende Funktionalität für viele seiner Standardkomponenten bilden und es Entwicklern ermöglichen, diese Leistung in ihre benutzerdefinierten Komponenten zu integrieren oder sie separat zu verwenden.

TFX-Pipelines sind Sequenzen von Komponenten, die für skalierbare, hochleistungsfähige ML-Aufgaben entwickelt wurden und Modellierung, Training, Inferenzbereitstellung und die Verwaltung von Bereitstellungen für verschiedene Ziele wie Online-, native mobile und JavaScript-Anwendungen umfassen. Zu den wichtigsten Komponenten gehören ExampleGen für die Datenaufnahme, StatisticsGen für die Berechnung von Statistiken, SchemaGen für die Erstellung von Datenschemata, ExampleValidator für die Anomalieerkennung, Transform für das Feature Engineering, Trainer für das Modelltraining und Evaluator für die Analyse von Trainingsergebnissen. Die Plattform unterstützt auch das Hyperparameter-Tuning mit Tuner und validiert die Modell-Servierbarkeit mit InfraValidator vor der Bereitstellung über Pusher.

Das TFX-Ökosystem integriert mehrere leistungsstarke Bibliotheken. TensorFlow Data Validation (TFDV) wird zur Analyse und Validierung von ML-Daten verwendet und bietet skalierbare Statistikberechnung, Schemagenerierung und Anomalieerkennung. TensorFlow Transform (TFT) übernimmt das Feature Engineering mit TensorFlow und stellt die Konsistenz zwischen Training und Inferenz sicher. TensorFlow Model Analysis (TFMA) bietet Werkzeuge zur Bewertung von TensorFlow-Modellen auf großen Datensätzen, während TensorFlow Metadata (TFMD) Standarddarstellungen für ML-Metadaten bietet. ML Metadata (MLMD) zeichnet Metadaten im Zusammenhang mit ML-Workflows auf und ruft diese ab und unterstützt die Persistenz über verschiedene Datenspeicher hinweg.

TFX ist auf Portabilität ausgelegt und unterstützt mehrere Umgebungen und Orchestrierungs-Frameworks wie Apache Airflow, Apache Beam und Kubeflow sowie Cloud-Plattformen wie die Google Cloud Platform (GCP). Es arbeitet mit verwalteten GCP-Diensten wie Cloud AI Platform für Training und Vorhersage sowie Cloud Dataflow für verteilte Datenverarbeitung zusammen. Die Plattform unterstützt Bereitstellungsziele, darunter TensorFlow Serving für Produktionsumgebungen, TensorFlow Lite für native mobile und IoT-Anwendungen sowie TensorFlow.js für Browser- und Node.js-Bereitstellungen.

Für Entwickler bietet TFX eine leistungsstarke Plattform für jede Phase eines ML-Projekts, von der Forschung und Experimentierung bis zur Bereitstellung. Es wird dringend empfohlen, TFX-Pipelines sowohl für das Modelltraining als auch für die Bereitstellung zu implementieren und Transform-Komponenten zu verwenden, um TensorFlow Transform für konsistente Vorverarbeitungs- und Analysecode zu nutzen und so Trainings-/Serving-Skew zu vermeiden. Dies stellt sicher, dass während des Trainings und der Inferenz dieselbe Vorverarbeitungslogik angewendet wird, wobei der Code nur einmal geschrieben wird.