설명
TensorFlow Extended(TFX)는 TensorFlow를 기반으로 구축된 포괄적인 프로덕션 규모의 머신러닝(ML) 플랫폼입니다. 복잡한 머신러닝 시스템을 정의, 실행 및 모니터링하기 위한 필수 구성 요소의 통합을 간소화하도록 설계된 강력한 구성 프레임워크와 공유 라이브러리 모음을 제공합니다. TFX를 통해 사용자는 프로덕션 환경 내에서 ML 워크플로를 효과적으로 구축하고 관리할 수 있습니다.
핵심적으로 TFX는 ML 파이프라인을 구축하기 위한 툴킷을 제공합니다. 이러한 파이프라인은 Apache Airflow, Apache Beam, Kubeflow Pipelines를 포함한 다양한 플랫폼에서 오케스트레이션될 수 있어 배포에 유연성을 제공합니다. 또한 이 플랫폼은 입증된 기능을 제공하는 표준 구성 요소 세트를 특징으로 하여 ML 프로세스 구축의 초기 단계를 단순화합니다. 이러한 구성 요소는 독립적으로 또는 더 큰 파이프라인의 일부로 사용될 수 있습니다. 또한 TFX에는 많은 표준 구성 요소의 기본 기능을 형성하는 라이브러리가 포함되어 있어 개발자가 이 기능을 사용자 지정 구성 요소에 통합하거나 별도로 사용할 수 있습니다.
TFX 파이프라인은 모델링, 학습, 추론 서빙 및 온라인, 네이티브 모바일, JavaScript 애플리케이션과 같은 다양한 대상에 대한 배포 관리를 포함하는 확장 가능하고 고성능 ML 작업을 위해 설계된 구성 요소 시퀀스입니다. 주요 구성 요소에는 데이터 수집을 위한 ExampleGen, 통계 계산을 위한 StatisticsGen, 데이터 스키마 생성을 위한 SchemaGen, 이상 감지를 위한 ExampleValidator, 특성 엔지니어링을 위한 Transform, 모델 학습을 위한 Trainer, 학습 결과 분석을 위한 Evaluator가 있습니다. 이 플랫폼은 Tuner를 통한 하이퍼파라미터 튜닝을 지원하고 Pusher를 통한 배포 전에 InfraValidator를 사용하여 모델 서빙 가능성을 검증합니다.
TFX 생태계는 여러 강력한 라이브러리를 통합합니다. TensorFlow Data Validation(TFDV)은 ML 데이터를 분석하고 검증하는 데 사용되며, 확장 가능한 통계 계산, 스키마 생성 및 이상 감지를 제공합니다. TensorFlow Transform(TFT)은 TensorFlow를 사용하여 특성 엔지니어링을 처리하여 학습 및 추론 간의 일관성을 보장합니다. TensorFlow Model Analysis(TFMA)는 대규모 데이터 세트에서 TensorFlow 모델을 평가하기 위한 도구를 제공하며, TensorFlow Metadata(TFMD)는 ML 메타데이터에 대한 표준 표현을 제공합니다. ML Metadata(MLMD)는 ML 워크플로와 관련된 메타데이터를 기록하고 검색하며 다양한 데이터 저장소를 통한 지속성을 지원합니다.
TFX는 이식성을 위해 설계되었으며 Apache Airflow, Apache Beam, Kubeflow와 같은 여러 환경 및 오케스트레이션 프레임워크와 Google Cloud Platform(GCP)과 같은 클라우드 플랫폼을 지원합니다. 학습 및 예측을 위한 Cloud AI Platform, 분산 데이터 처리를 위한 Cloud Dataflow와 같은 관리형 GCP 서비스와 상호 운용됩니다. 이 플랫폼은 프로덕션 환경을 위한 TensorFlow Serving, 네이티브 모바일 및 IoT 애플리케이션을 위한 TensorFlow Lite, 브라우저 및 Node.js 배포를 위한 TensorFlow.js를 포함한 배포 대상을 지원합니다.
개발자를 위해 TFX는 연구 및 실험부터 배포에 이르기까지 ML 프로젝트의 모든 단계에 대한 강력한 플랫폼을 제공합니다. 학습/서빙 편향을 피하기 위해 TensorFlow Transform을 활용하여 일관된 전처리 및 분석 코드를 사용하도록 Transform 구성 요소를 활용하여 모델 학습 및 배포 모두에 TFX 파이프라인을 구현할 것을 강력히 권장합니다. 이를 통해 학습 및 추론 중에 동일한 전처리 논리가 적용되도록 하여 코드를 한 번만 작성하면 됩니다.
TensorFlow Extended (TFX)의 핵심 기능
TensorFlow 기반 프로덕션 규모 ML 플랫폼
ML 시스템을 위한 구성 프레임워크
일반적인 ML 구성 요소용 공유 라이브러리
플랫폼 간 ML 워크플로 오케스트레이션(Airflow, Kubeflow, Beam)
ML 작업을 위한 표준 구성 요소(데이터 수집, 검증, 변환, 학습, 평가)
데이터 분석 및 검증을 위한 TensorFlow Data Validation(TFDV) 통합
특성 엔지니어링을 위한 TensorFlow Transform(TFT) 통합
모델 평가를 위한 TensorFlow Model Analysis(TFMA) 통합
하이퍼파라미터 튜닝 지원
모델 검증 및 서빙 가능성 확인
TensorFlow Serving, TensorFlow Lite, TensorFlow.js로의 배포
온프레미스 및 클라우드 환경 전반의 이식성
파이프라인 관리를 위한 통합 CLI
TensorFlow Extended (TFX) 시작하기
TFX 설치: pip install tfx를 사용합니다.
파이프라인 구성: TFX 구성 요소와 오케스트레이터를 사용하여 ML 워크플로를 정의합니다.
파이프라인 빌드: 데이터 처리, 학습 및 평가를 위해 표준 또는 사용자 지정 구성 요소를 통합합니다.
파이프라인 실행: Airflow 또는 Kubeflow와 같은 지원되는 오케스트레이터를 사용하여 TFX 파이프라인을 실행합니다.
모델 배포: Pusher 구성 요소를 사용하여 학습된 모델을 TensorFlow Serving과 같은 대상으로 배포합니다.
모니터링 및 반복: 지속적인 개선을 위해 모델 성능과 데이터를 분석합니다.
TensorFlow Extended (TFX)의 사용 사례
- 프로덕션 ML 파이프라인
- 데이터 검증 및 분석
- 특성 엔지니어링
- 모델 학습 및 평가
- 모델 배포
- MLOps 자동화
- 하이퍼파라미터 최적화
- 확장 가능한 데이터 처리
