説明
TensorFlow Extended (TFX) は、TensorFlow 上に構築された包括的な本番環境スケールの機械学習 (ML) プラットフォームです。堅牢な設定フレームワークと、複雑な機械学習システムの定義、起動、監視に不可欠なコンポーネントの統合を合理化するように設計された共有ライブラリのスイートを提供します。TFX は、ユーザーが本番環境内で ML ワークフローを効果的に構築および管理できるようにします。
TFX の中核は、ML パイプラインを構築するためのツールキットを提供することです。これらのパイプラインは、Apache Airflow、Apache Beam、Kubeflow Pipelines など、さまざまなプラットフォームでオーケストレーションでき、デプロイメントの柔軟性を提供します。このプラットフォームには、実績のある機能を提供する標準コンポーネントのセットも含まれており、ML プロセスの構築の初期段階を簡素化します。これらのコンポーネントは、独立して、またはより大きなパイプラインの一部として使用できます。さらに、TFX には、多くの標準コンポーネントの基盤となる機能を提供するライブラリが含まれており、開発者はこのパワーをカスタムコンポーネントに組み込んだり、個別に利用したりできます。
TFX パイプラインは、モデリング、トレーニング、推論の提供、オンライン、ネイティブモバイル、JavaScript アプリケーションなどのさまざまなターゲットへのデプロイメント管理を含む、スケーラブルで高性能な ML タスクのために設計されたコンポーネントのシーケンスです。主要なコンポーネントには、データ取り込み用の ExampleGen、統計計算用の StatisticsGen、データスキーマ作成用の SchemaGen、異常検出用の ExampleValidator、特徴量エンジニアリング用の Transform、モデルトレーニング用の Trainer、トレーニング結果分析用の Evaluator があります。このプラットフォームは、Tuner によるハイパーパラメータチューニングもサポートし、Pusher によるデプロイメント前に InfraValidator によるモデルの提供可能性を検証します。
TFX エコシステムは、いくつかの強力なライブラリを統合しています。TensorFlow Data Validation (TFDV) は、ML データの分析と検証に使用され、スケーラブルな統計計算、スキーマ生成、異常検出を提供します。TensorFlow Transform (TFT) は、TensorFlow を使用して特徴量エンジニアリングを処理し、トレーニングと推論の一貫性を確保します。TensorFlow Model Analysis (TFMA) は、大規模データセットで TensorFlow モデルを評価するためのツールを提供し、TensorFlow Metadata (TFMD) は ML メタデータのための標準表現を提供します。ML Metadata (MLMD) は、ML ワークフローに関連付けられたメタデータを記録および取得し、さまざまなデータストアを介した永続性をサポートします。
TFX はポータビリティのために設計されており、Apache Airflow、Apache Beam、Kubeflow などの複数の環境とオーケストレーションフレームワーク、および Google Cloud Platform (GCP) などのクラウドプラットフォームをサポートしています。トレーニングと予測のための Cloud AI Platform、分散データ処理のための Cloud Dataflow などのマネージド GCP サービスと相互運用します。このプラットフォームは、本番環境用の TensorFlow Serving、ネイティブモバイルおよび IoT アプリケーション用の TensorFlow Lite、ブラウザおよび Node.js デプロイメント用の TensorFlow.js などのデプロイメントターゲットをサポートしています。
開発者にとって、TFX は、研究や実験からデプロイメントまで、ML プロジェクトのあらゆるフェーズに対応する強力なプラットフォームを提供します。トレーニング/サービングスキューを回避するために、Transform コンポーネントを使用して TensorFlow Transform を活用し、一貫した前処理と分析コードを利用して、モデルトレーニングとデプロイメントの両方に TFX パイプラインを実装することを強く推奨します。これにより、トレーニングと推論の両方で同じ前処理ロジックが適用され、コードは一度だけ記述されます。
TensorFlow Extended (TFX)の主要機能
TensorFlow ベースの本番環境スケール ML プラットフォーム
ML システム用の設定フレームワーク
一般的な ML コンポーネント用の共有ライブラリ
プラットフォーム間 (Airflow, Kubeflow, Beam) の ML ワークフローのオーケストレーション
ML タスク用の標準コンポーネント (データ取り込み、検証、変換、トレーニング、評価)
データ分析と検証のための TensorFlow Data Validation (TFDV) との統合
特徴量エンジニアリングのための TensorFlow Transform (TFT) との統合
モデル評価のための TensorFlow Model Analysis (TFMA) との統合
ハイパーパラメータチューニングのサポート
モデル検証と提供可能性チェック
TensorFlow Serving, TensorFlow Lite, TensorFlow.js へのデプロイメント
オンプレミスおよびクラウド環境間でのポータビリティ
パイプライン管理用の統合 CLI
TensorFlow Extended (TFX)をはじめる
TFX のインストール: pip install tfx を使用します。
パイプラインの設定: TFX コンポーネントとオーケストレーターを使用して ML ワークフローを定義します。
パイプラインの構築: データ処理、トレーニング、評価のために標準またはカスタムコンポーネントを統合します。
パイプラインの実行: Airflow や Kubeflow などのサポートされているオーケストレーターを使用して TFX パイプラインを実行します。
モデルのデプロイ: Pusher コンポーネントを使用して、トレーニング済みモデルを TensorFlow Serving などのターゲットにデプロイします。
監視と反復: モデルのパフォーマンスとデータを分析して継続的な改善を行います。
TensorFlow Extended (TFX)の使用例
- 本番 ML パイプライン
- データ検証と分析
- 特徴量エンジニアリング
- モデルトレーニングと評価
- モデルデプロイメント
- MLOps 自動化
- ハイパーパラメータ最適化
- スケーラブルなデータ処理
