Descrição
TensorFlow Extended (TFX) é uma plataforma abrangente de machine learning (ML) em escala de produção, construída sobre o TensorFlow. Ela oferece um framework de configuração robusto e um conjunto de bibliotecas compartilhadas projetadas para otimizar a integração de componentes essenciais para definir, lançar e monitorar sistemas complexos de machine learning. O TFX capacita os usuários a construir e gerenciar fluxos de trabalho de ML de forma eficaz em ambientes de produção.
Ler mais
Em sua essência, o TFX fornece um kit de ferramentas para construir pipelines de ML. Esses pipelines podem ser orquestrados em diversas plataformas, incluindo Apache Airflow, Apache Beam e Kubeflow Pipelines, oferecendo flexibilidade na implantação. A plataforma também apresenta um conjunto de componentes padrão que entregam funcionalidade comprovada, simplificando as fases iniciais da construção de um processo de ML. Esses componentes podem ser usados independentemente ou como parte de um pipeline maior. Além disso, o TFX inclui bibliotecas que formam a funcionalidade fundamental para muitos de seus componentes padrão, permitindo que os desenvolvedores incorporem esse poder em seus componentes personalizados ou os utilizem separadamente.
Os pipelines TFX são sequências de componentes projetados para tarefas de ML escaláveis e de alto desempenho, abrangendo modelagem, treinamento, inferência de serviço e gerenciamento de implantações para vários destinos, como aplicações online, móveis nativas e JavaScript. Componentes-chave incluem ExampleGen para ingestão de dados, StatisticsGen para cálculo de estatísticas, SchemaGen para criação de esquemas de dados, ExampleValidator para detecção de anomalias, Transform para engenharia de features, Trainer para treinamento de modelos e Evaluator para análise de resultados de treinamento. A plataforma também suporta ajuste de hiperparâmetros com Tuner e valida a capacidade de serviço do modelo com InfraValidator antes da implantação via Pusher.
O ecossistema TFX integra várias bibliotecas poderosas. TensorFlow Data Validation (TFDV) é usado para analisar e validar dados de ML, oferecendo cálculo escalável de estatísticas, geração de esquemas e detecção de anomalias. TensorFlow Transform (TFT) lida com a engenharia de features usando TensorFlow, garantindo consistência entre treinamento e inferência. TensorFlow Model Analysis (TFMA) fornece ferramentas para avaliar modelos TensorFlow em grandes conjuntos de dados, enquanto TensorFlow Metadata (TFMD) oferece representações padrão para metadados de ML. ML Metadata (MLMD) registra e recupera metadados associados a fluxos de trabalho de ML, suportando persistência através de vários armazenamentos de dados.
O TFX é projetado para portabilidade, suportando múltiplos ambientes e frameworks de orquestração como Apache Airflow, Apache Beam e Kubeflow, bem como plataformas de nuvem como Google Cloud Platform (GCP). Ele interopera com serviços gerenciados do GCP como Cloud AI Platform para treinamento e predição, e Cloud Dataflow para processamento distribuído de dados. A plataforma suporta destinos de implantação, incluindo TensorFlow Serving para ambientes de produção, TensorFlow Lite para aplicações móveis nativas e IoT, e TensorFlow.js para implantações em navegadores e Node.js.
Para desenvolvedores, o TFX oferece uma plataforma poderosa para todas as fases de um projeto de ML, desde pesquisa e experimentação até implantação. Ele recomenda fortemente a implementação de pipelines TFX tanto para treinamento quanto para implantação de modelos, utilizando componentes Transform para alavancar o TensorFlow Transform para pré-processamento consistente e código de análise, evitando assim o desvio entre treinamento e serviço. Isso garante que a mesma lógica de pré-processamento seja aplicada durante o treinamento e a inferência, escrevendo o código apenas uma vez.
- CategoriaMLOps e implantação de modelos
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Local
- PlataformasWeb
Recursos principais de TensorFlow Extended (TFX)
Plataforma de ML em escala de produção baseada em TensorFlow
Framework de configuração para sistemas de ML
Bibliotecas compartilhadas para componentes comuns de ML
Orquestração de fluxos de trabalho de ML entre plataformas (Airflow, Kubeflow, Beam)
Componentes padrão para tarefas de ML (ingestão de dados, validação, transformação, treinamento, avaliação)
Integração com TensorFlow Data Validation (TFDV) para análise e validação de dados
Integração com TensorFlow Transform (TFT) para engenharia de features
Integração com TensorFlow Model Analysis (TFMA) para avaliação de modelos
Suporte para ajuste de hiperparâmetros
Validação de modelo e verificações de capacidade de serviço
Implantação para TensorFlow Serving, TensorFlow Lite e TensorFlow.js
Portabilidade entre ambientes on-premise e nuvem
CLI unificada para gerenciamento de pipelines
Primeiros passos com TensorFlow Extended (TFX)
Instalar TFX: Use pip install tfx.
Configurar pipeline: Defina seu fluxo de trabalho de ML usando componentes TFX e um orquestrador.
Construir pipeline: Integre componentes padrão ou personalizados para processamento de dados, treinamento e avaliação.
Executar pipeline: Execute seu pipeline TFX usando um orquestrador suportado como Airflow ou Kubeflow.
Implantar modelo: Utilize o componente Pusher para implantar modelos treinados em destinos como TensorFlow Serving.
Monitorar e iterar: Analise o desempenho do modelo e os dados para melhoria contínua.
Casos de uso de TensorFlow Extended (TFX)
- Pipelines de ML em Produção
- Validação e Análise de Dados
- Engenharia de Features
- Treinamento e Avaliação de Modelos
- Implantação de Modelos
- Automação de MLOps
- Otimização de Hiperparâmetros
- Processamento de Dados Escalável
