Deskripsi
TensorFlow Extended (TFX) adalah platform machine learning (ML) yang komprehensif dan berskala produksi yang dibangun di atas TensorFlow. Platform ini menawarkan kerangka kerja konfigurasi yang kuat dan serangkaian pustaka bersama yang dirancang untuk menyederhanakan integrasi komponen penting dalam mendefinisikan, meluncurkan, dan memantau sistem machine learning yang kompleks. TFX memberdayakan pengguna untuk membangun dan mengelola alur kerja ML secara efektif di lingkungan produksi.
Baca Selengkapnya
Inti dari TFX adalah penyediaan toolkit untuk membangun pipeline ML. Pipeline ini dapat diorkestrasi di berbagai platform, termasuk Apache Airflow, Apache Beam, dan Kubeflow Pipelines, yang menawarkan fleksibilitas dalam penerapan. Platform ini juga dilengkapi dengan serangkaian komponen standar yang memberikan fungsionalitas terbukti, menyederhanakan tahap awal pembangunan proses ML. Komponen-komponen ini dapat digunakan secara independen atau sebagai bagian dari pipeline yang lebih besar. Selain itu, TFX menyertakan pustaka yang membentuk fungsionalitas dasar untuk banyak komponen standarnya, memungkinkan pengembang untuk memasukkan kekuatan ini ke dalam komponen kustom mereka atau menggunakannya secara terpisah.
Pipeline TFX adalah urutan komponen yang dirancang untuk tugas ML berskala dan berkinerja tinggi, mencakup pemodelan, pelatihan, inferensi penyajian, dan pengelolaan penerapan ke berbagai target seperti aplikasi online, seluler asli, dan JavaScript. Komponen utama meliputi ExampleGen untuk penyerapan data, StatisticsGen untuk menghitung statistik, SchemaGen untuk membuat skema data, ExampleValidator untuk deteksi anomali, Transform untuk rekayasa fitur, Trainer untuk pelatihan model, dan Evaluator untuk menganalisis hasil pelatihan. Platform ini juga mendukung penyetelan hyperparameter dengan Tuner dan memvalidasi kemampuan penyajian model dengan InfraValidator sebelum penerapan melalui Pusher.
Ekosistem TFX mengintegrasikan beberapa pustaka yang kuat. TensorFlow Data Validation (TFDV) digunakan untuk menganalisis dan memvalidasi data ML, menawarkan perhitungan statistik berskala, pembuatan skema, dan deteksi anomali. TensorFlow Transform (TFT) menangani rekayasa fitur menggunakan TensorFlow, memastikan konsistensi antara pelatihan dan inferensi. TensorFlow Model Analysis (TFMA) menyediakan alat untuk mengevaluasi model TensorFlow pada kumpulan data besar, sementara TensorFlow Metadata (TFMD) menawarkan representasi standar untuk metadata ML. ML Metadata (MLMD) mencatat dan mengambil metadata yang terkait dengan alur kerja ML, mendukung persistensi melalui berbagai penyimpanan data.
TFX dirancang untuk portabilitas, mendukung berbagai lingkungan dan kerangka kerja orkestrasi seperti Apache Airflow, Apache Beam, dan Kubeflow, serta platform cloud seperti Google Cloud Platform (GCP). Platform ini berinteroperasi dengan layanan GCP terkelola seperti Cloud AI Platform untuk pelatihan dan prediksi, dan Cloud Dataflow untuk pemrosesan data terdistribusi. Platform ini mendukung target penerapan termasuk TensorFlow Serving untuk lingkungan produksi, TensorFlow Lite untuk aplikasi seluler dan IoT asli, dan TensorFlow.js untuk penerapan browser dan Node.js.
Bagi pengembang, TFX menawarkan platform yang kuat untuk setiap fase proyek ML, mulai dari penelitian dan eksperimen hingga penerapan. Platform ini sangat merekomendasikan implementasi pipeline TFX untuk pelatihan dan penerapan model, memanfaatkan komponen Transform untuk menggunakan TensorFlow Transform untuk preprocessing yang konsisten dan kode analisis, sehingga menghindari penyimpangan pelatihan/penyajian. Hal ini memastikan bahwa logika preprocessing yang sama diterapkan selama pelatihan dan inferensi, menulis kode hanya sekali.
- KategoriMLOps & Penerapan Model
- Model HargaOpen source
- PenerapanCloud, On-Premise
- PlatformWeb
Fitur Inti TensorFlow Extended (TFX)
Platform ML skala produksi berbasis TensorFlow
Kerangka kerja konfigurasi untuk sistem ML
Pustaka bersama untuk komponen ML umum
Orkestrasi alur kerja ML di berbagai platform (Airflow, Kubeflow, Beam)
Komponen standar untuk tugas ML (penyerapan data, validasi, transformasi, pelatihan, evaluasi)
Integrasi dengan TensorFlow Data Validation (TFDV) untuk analisis dan validasi data
Integrasi dengan TensorFlow Transform (TFT) untuk rekayasa fitur
Integrasi dengan TensorFlow Model Analysis (TFMA) untuk evaluasi model
Dukungan untuk penyetelan hyperparameter
Validasi model dan pemeriksaan kemampuan penyajian
Penerapan ke TensorFlow Serving, TensorFlow Lite, dan TensorFlow.js
Portabilitas di lingkungan on-premise dan cloud
CLI terpadu untuk manajemen pipeline
Memulai dengan TensorFlow Extended (TFX)
Instal TFX: Gunakan pip install tfx.
Konfigurasi pipeline: Definisikan alur kerja ML Anda menggunakan komponen TFX dan orkestrator.
Bangun pipeline: Integrasikan komponen standar atau kustom untuk pemrosesan data, pelatihan, dan evaluasi.
Jalankan pipeline: Eksekusi pipeline TFX Anda menggunakan orkestrator yang didukung seperti Airflow atau Kubeflow.
Terapkan model: Gunakan komponen Pusher untuk menerapkan model yang dilatih ke target seperti TensorFlow Serving.
Pantau dan iterasi: Analisis kinerja model dan data untuk perbaikan berkelanjutan.
Kasus Penggunaan TensorFlow Extended (TFX)
- Pipeline ML Produksi
- Validasi dan Analisis Data
- Rekayasa Fitur
- Pelatihan dan Evaluasi Model
- Penerapan Model
- Otomatisasi MLOps
- Optimasi Hyperparameter
- Pemrosesan Data Berskala
