TensorFlow Extended (TFX)

في جوهرها، توفر TFX مجموعة أدوات لإنشاء خطوط أنابيب التعلم الآلي. يمكن تنسيق خطوط الأنابيب هذه عبر منصات متنوعة، بما في ذلك Apache Airflow و Apache Beam و Kubeflow Pipelines، مما يوفر مرونة في النشر. تتميز المنصة أيضًا بمجموعة من المكونات القياسية التي تقدم وظائف مثبتة، مما يبسط المراحل الأولية لبناء عملية التعلم الآلي. يمكن استخدام هذه المكونات بشكل مستقل أو كجزء من خط أنابيب أكبر. علاوة على ذلك، تتضمن TFX مكتبات تشكل الوظائف الأساسية للعديد من مكوناتها القياسية، مما يسمح للمطورين بدمج هذه القوة في مكوناتهم المخصصة أو استخدامها بشكل منفصل.

خطوط أنابيب TFX هي تسلسلات من المكونات المصممة لمهام التعلم الآلي القابلة للتوسع وعالية الأداء، والتي تشمل النمذجة والتدريب وخدمة الاستدلال وإدارة عمليات النشر إلى أهداف مختلفة مثل التطبيقات عبر الإنترنت والتطبيقات الأصلية للجوال وتطبيقات JavaScript. تشمل المكونات الرئيسية ExampleGen لاستيعاب البيانات، و StatisticsGen لحساب الإحصائيات، و SchemaGen لإنشاء مخططات البيانات، و ExampleValidator للكشف عن الشذوذ، و Transform لهندسة الميزات، و Trainer لتدريب النماذج، و Evaluator لتحليل نتائج التدريب. تدعم المنصة أيضًا ضبط المعلمات الفائقة باستخدام Tuner وتتحقق من قابلية خدمة النموذج باستخدام InfraValidator قبل النشر عبر Pusher.

يتكامل نظام TFX البيئي مع العديد من المكتبات القوية. يُستخدم TensorFlow Data Validation (TFDV) لتحليل والتحقق من صحة بيانات التعلم الآلي، ويوفر حساب إحصائيات قابل للتوسع، وتوليد مخططات، والكشف عن الشذوذ. يتعامل TensorFlow Transform (TFT) مع هندسة الميزات باستخدام TensorFlow، مما يضمن الاتساق بين التدريب والاستدلال. يوفر TensorFlow Model Analysis (TFMA) أدوات لتقييم نماذج TensorFlow على مجموعات بيانات كبيرة، بينما يوفر TensorFlow Metadata (TFMD) تمثيلات قياسية لبيانات التعريف الخاصة بالتعلم الآلي. يسجل ML Metadata (MLMD) ويسترجع بيانات التعريف المرتبطة بتدفقات عمل التعلم الآلي، ويدعم الثبات عبر مخازن بيانات مختلفة.

تم تصميم TFX لتكون قابلة للنقل، وتدعم بيئات وأطر تنسيق متعددة مثل Apache Airflow و Apache Beam و Kubeflow، بالإضافة إلى منصات سحابية مثل Google Cloud Platform (GCP). تتفاعل مع خدمات GCP المُدارة مثل Cloud AI Platform للتدريب والتنبؤ، و Cloud Dataflow لمعالجة البيانات الموزعة. تدعم المنصة أهداف النشر بما في ذلك TensorFlow Serving لبيئات الإنتاج، و TensorFlow Lite للتطبيقات الأصلية للجوال وإنترنت الأشياء، و TensorFlow.js لنشر المتصفحات و Node.js.

بالنسبة للمطورين، تقدم TFX منصة قوية لكل مرحلة من مراحل مشروع التعلم الآلي، من البحث والتجريب إلى النشر. توصي بشدة بتطبيق خطوط أنابيب TFX لكل من تدريب النماذج ونشرها، مع الاستفادة من مكونات Transform لاستخدام TensorFlow Transform لمعالجة مسبقة متسقة ورمز تحليل، وبالتالي تجنب تباين التدريب/الخدمة. يضمن هذا تطبيق نفس منطق المعالجة المسبقة أثناء التدريب والاستدلال، وكتابة الكود مرة واحدة فقط.