TensorFlow Extended (TFX)

По своей сути TFX предоставляет набор инструментов для построения ML-конвейеров. Эти конвейеры могут оркестрироваться на различных платформах, включая Apache Airflow, Apache Beam и Kubeflow Pipelines, что обеспечивает гибкость развертывания. Платформа также включает набор стандартных компонентов, обеспечивающих проверенную функциональность, что упрощает начальные этапы построения ML-процесса. Эти компоненты могут использоваться независимо или как часть более крупного конвейера. Кроме того, TFX включает библиотеки, которые составляют базовую функциональность для многих ее стандартных компонентов, позволяя разработчикам использовать эту мощь в своих пользовательских компонентах или использовать их отдельно.

Конвейеры TFX представляют собой последовательности компонентов, предназначенных для масштабируемых высокопроизводительных ML-задач, охватывающих моделирование, обучение, инференс для обслуживания и управление развертываниями на различных целевых платформах, таких как онлайн-приложения, нативные мобильные приложения и JavaScript-приложения. Ключевые компоненты включают ExampleGen для приема данных, StatisticsGen для расчета статистики, SchemaGen для создания схем данных, ExampleValidator для обнаружения аномалий, Transform для инженерии признаков, Trainer для обучения моделей и Evaluator для анализа результатов обучения. Платформа также поддерживает настройку гиперпараметров с помощью Tuner и проверяет пригодность модели к обслуживанию с помощью InfraValidator перед развертыванием через Pusher.

Экосистема TFX объединяет несколько мощных библиотек. TensorFlow Data Validation (TFDV) используется для анализа и проверки ML-данных, предлагая масштабируемый расчет статистики, генерацию схем и обнаружение аномалий. TensorFlow Transform (TFT) обрабатывает инженерию признаков с использованием TensorFlow, обеспечивая согласованность между обучением и инференсом. TensorFlow Model Analysis (TFMA) предоставляет инструменты для оценки моделей TensorFlow на больших наборах данных, а TensorFlow Metadata (TFMD) предлагает стандартные представления для метаданных ML. ML Metadata (MLMD) записывает и извлекает метаданные, связанные с ML-рабочими процессами, поддерживая персистентность через различные хранилища данных.

TFX разработан с учетом переносимости, поддерживая несколько сред и фреймворков оркестрации, таких как Apache Airflow, Apache Beam и Kubeflow, а также облачные платформы, такие как Google Cloud Platform (GCP). Он взаимодействует с управляемыми сервисами GCP, такими как Cloud AI Platform для обучения и прогнозирования, и Cloud Dataflow для распределенной обработки данных. Платформа поддерживает целевые платформы развертывания, включая TensorFlow Serving для производственных сред, TensorFlow Lite для нативных мобильных приложений и IoT-приложений, а также TensorFlow.js для развертывания в браузерах и Node.js.

Для разработчиков TFX предлагает мощную платформу для каждого этапа ML-проекта, от исследований и экспериментов до развертывания. Он настоятельно рекомендует внедрять конвейеры TFX как для обучения моделей, так и для их развертывания, используя компоненты Transform для применения TensorFlow Transform для согласованного кода предварительной обработки и анализа, тем самым избегая смещения между обучением и обслуживанием. Это гарантирует, что одна и та же логика предварительной обработки применяется как во время обучения, так и во время инференса, записывая код только один раз.