Descrição
Databricks Feature Store atua como um registro centralizado para features usadas em modelos de IA e machine learning. Ao registrar tabelas de features e modelos dentro do Unity Catalog, os usuários obtêm governança integrada, rastreamento de linhagem, junções point-in-time e a capacidade de compartilhar e descobrir features entre workspaces. Esta plataforma otimiza todo o fluxo de trabalho de treinamento de modelos, desde a ingestão de dados e criação de tabelas de features até o treinamento de modelos e inferência em lote, tudo dentro de um ambiente unificado.
As principais capacidades incluem pipelines de dados para ingestão de dados brutos, criação de tabelas de features, treinamento de modelos e execução de inferência em lote. Ele também fornece acesso com um clique a endpoints de serving de modelos e features com latência de milissegundos, juntamente com monitoramento de dados e modelos. Quando features do Databricks Feature Store são usadas para treinamento, o modelo rastreia automaticamente a linhagem. No momento da inferência, o modelo recupera os valores de features mais recentes. O Feature Store também lida com a computação de features sob demanda para aplicações em tempo real, eliminando o desvio entre treinamento e serving e simplificando o código do lado do cliente ao gerenciar todas as consultas e computações de features.
Para workspaces habilitados com Unity Catalog, Databricks Feature Store oferece um conjunto robusto de ferramentas para desenvolver, descobrir, compartilhar e servir features. Os usuários podem criar e gerenciar tabelas de features, definir features declarativas com agregações de janela de tempo e materializá-las para treinamento offline ou serving online. A exploração de features é facilitada pelo Catalog Explorer e pela UI de Features, com suporte para tags para categorizar e gerenciar tabelas de features. A plataforma garante a correção point-in-time para conjuntos de dados de treinamento, refletindo os valores de features no momento da observação do rótulo. Stores de Features Online estão disponíveis para servir dados de features para aplicações online e modelos de ML em tempo real, alimentados pelo Databricks Lakebase. O serving de modelos inclui consulta automática de features de stores online, e endpoints de serving de features podem ser expostos para aplicações externas. A computação de features sob demanda no momento da inferência aprimora ainda mais as capacidades em tempo real. A governança e a linhagem são gerenciadas através do Unity Catalog, controlando o acesso e fornecendo visibilidade para a linhagem de tabelas de features, modelos e funções.
Recursos principais de Databricks Feature Store
Registro centralizado de features
Integração com Unity Catalog
Governança integrada
Rastreamento de linhagem de features
Junções point-in-time
Compartilhamento de features entre workspaces
Descoberta de features
Fluxo de trabalho unificado de treinamento de modelos
Pipelines de dados para engenharia de features
Capacidades de inferência em lote
Endpoints de serving de features online
Serving de modelos em tempo real
Computação de features sob demanda
Elimina desvio entre treinamento e serving
Simplifica código do lado do cliente
Como usar Databricks Feature Store?
Desenvolver features: Crie e gerencie tabelas de features usando APIs declarativas.
Materializar features: Prepare features declarativas para treinamento offline ou serving online.
Descobrir features: Explore e gerencie tabelas de features através do Catalog Explorer e da UI de Features.
Treinar modelos: Utilize tabelas de features para treinar modelos de machine learning.
Servir features: Implante stores de features online para aplicações em tempo real.
Monitorar dados e modelos: Acompanhe o desempenho e detecte desvios.
Casos de uso de Databricks Feature Store
- Treinamento de Modelos de ML
- Inferência em Tempo Real
- Gerenciamento de Features
- Rastreamento de Linhagem de Dados
- Engenharia Colaborativa de Features
- Pontuação em Lote
- Geração Aumentada por Recuperação
