描述
TensorFlow Extended (TFX) 是一个基于 TensorFlow 构建的、全面的、生产级规模的机器学习 (ML) 平台。它提供了一个强大的配置框架和一套共享库,旨在简化定义、启动和监控复杂机器学习系统所需的核心组件的集成。TFX 使用户能够在生产环境中有效地构建和管理机器学习工作流。
阅读更多
TFX 的核心是提供一个用于构建机器学习管道的工具集。这些管道可以跨各种平台进行编排,包括 Apache Airflow、Apache Beam 和 Kubeflow Pipelines,从而在部署方面提供灵活性。该平台还提供了一组标准组件,可提供经过验证的功能,从而简化了构建机器学习流程的初始阶段。这些组件可以独立使用,也可以作为更大管道的一部分使用。此外,TFX 还包含构成其许多标准组件基础功能的库,使开发人员能够将这些功能集成到他们的自定义组件中或单独使用它们。
TFX 管道是为可扩展、高性能的机器学习任务设计的组件序列,涵盖建模、训练、推理服务以及部署到各种目标(如在线、原生移动和 JavaScript 应用程序)的管理。关键组件包括用于数据摄取的 ExampleGen、用于计算统计数据的 StatisticsGen、用于创建数据模式的 SchemaGen、用于异常检测的 ExampleValidator、用于特征工程的 Transform、用于模型训练的 Trainer 以及用于分析训练结果的 Evaluator。该平台还支持使用 Tuner 进行超参数调优,并在通过 Pusher 部署之前使用 InfraValidator 验证模型的可服务性。
TFX 生态系统集成了几个强大的库。TensorFlow Data Validation (TFDV) 用于分析和验证机器学习数据,提供可扩展的统计计算、模式生成和异常检测。TensorFlow Transform (TFT) 使用 TensorFlow 处理特征工程,确保训练和推理之间的一致性。TensorFlow Model Analysis (TFMA) 提供工具来评估大型数据集上的 TensorFlow 模型,而 TensorFlow Metadata (TFMD) 提供机器学习元数据的标准表示。ML Metadata (MLMD) 记录和检索与机器学习工作流相关的元数据,支持通过各种数据存储进行持久化。
TFX 设计为可移植,支持多种环境和编排框架,如 Apache Airflow、Apache Beam 和 Kubeflow,以及云平台,如谷歌云平台 (GCP)。它与 Cloud AI Platform(用于训练和预测)和 Cloud Dataflow(用于分布式数据处理)等托管 GCP 服务进行互操作。该平台支持的部署目标包括用于生产环境的 TensorFlow Serving、用于原生移动和物联网应用的 TensorFlow Lite,以及用于浏览器和 Node.js 部署的 TensorFlow.js。
对于开发人员而言,TFX 为机器学习项目的每个阶段提供了一个强大的平台,从研究和实验到部署。它强烈建议为模型训练和部署实现 TFX 管道,利用 Transform 组件来利用 TensorFlow Transform 进行一致的预处理和分析代码,从而避免训练/服务偏差。这确保了在训练和推理期间应用相同的预处理逻辑,只需编写一次代码。
- 类别MLOps 与模型部署
- 定价模式开源
- 部署云端、本地部署
- 平台网页版
TensorFlow Extended (TFX)的核心功能
基于 TensorFlow 的生产级机器学习平台
机器学习系统的配置框架
通用机器学习组件的共享库
跨平台(Airflow、Kubeflow、Beam)的机器学习工作流编排
机器学习任务的标准组件(数据摄取、验证、转换、训练、评估)
与 TensorFlow Data Validation (TFDV) 集成,用于数据分析和验证
与 TensorFlow Transform (TFT) 集成,用于特征工程
与 TensorFlow Model Analysis (TFMA) 集成,用于模型评估
支持超参数调优
模型验证和可服务性检查
部署到 TensorFlow Serving、TensorFlow Lite 和 TensorFlow.js
跨本地和云环境的可移植性
统一的管道管理 CLI
TensorFlow Extended (TFX)入门
安装 TFX:使用 pip install tfx。
配置管道:使用 TFX 组件和编排器定义您的机器学习工作流。
构建管道:集成标准或自定义组件以进行数据处理、训练和评估。
运行管道:使用受支持的编排器(如 Airflow 或 Kubeflow)执行您的 TFX 管道。
部署模型:利用 Pusher 组件将训练好的模型部署到 TensorFlow Serving 等目标。
监控和迭代:分析模型性能和数据以持续改进。
TensorFlow Extended (TFX)的使用案例
- 生产机器学习管道
- 数据验证和分析
- 特征工程
- 模型训练和评估
- 模型部署
- MLOps 自动化
- 超参数优化
- 可扩展数据处理










