Descrição
TabFM 1.0.0 (PyTorch) é um modelo de fundação tabular zero-shot desenvolvido pela Google Research. Ele é projetado para lidar com tarefas de classificação e regressão em dados estruturados, especificamente dados tabulares com colunas numéricas e categóricas mistas. O modelo opera sem a necessidade de ajuste fino ou busca de hiperparâmetros, permitindo que os usuários passem exemplos de treinamento como contexto e façam previsões em uma única passagem para frente.
Ler mais
A arquitetura do modelo emprega atenção alternada entre linhas e colunas para capturar interações de características e padrões em nível de linha. A atenção das colunas utiliza o Set Transformer para incorporar cada célula com características de Fourier e agrega através das linhas por meio de autoatenção induzida. A compressão das linhas é alcançada por meio de tokens CLS que resumem cada linha em um vetor denso usando atenção em nível de linha com Embedding de Posição Rotativa (RoPE). O ICL Transformer, um transformer causal de 24 blocos, opera sobre esses vetores de linha comprimidos, tratando as linhas de treinamento como contexto e gerando previsões para as linhas de teste.
O TabFM é otimizado para classificação binária e multiclass (até 10 classes) e regressão em alvos contínuos. Ele suporta dados na forma de DataFrames do pandas ou arrays do numpy. O modelo foi treinado em centenas de milhões de conjuntos de dados sintéticos gerados usando modelos causais estruturais (SCMs), que codificam vieses indutivos sobre estruturas causais típicas em tarefas tabulares.
Avaliações de desempenho no TabArena em 51 conjuntos de dados mostram que o TabFM supera bases de referência supervisionadas altamente ajustadas, incluindo árvores de gradiente, em modo zero-shot. No entanto, ele tem limitações, como um máximo de 10 classes para classificação e uso de memória que escala com o número de linhas de treinamento. Não é destinado para uso comercial, imagens, áudio, vídeo, texto bruto ou dados estruturados não tabulares.
Os pesos do modelo são liberados sob a Licença Não Comercial TabFM v1.0, e o código-fonte está disponível sob a licença Apache 2.0.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de TabFM 1.0.0 (PyTorch)
Modelo tabular zero-shot
Suporta classificação e regressão
Lida com dados numéricos e categóricos mistos
Não requer ajuste fino
Atenção alternada entre linhas e colunas
Treinado em conjuntos de dados sintéticos
Máximo de 10 classes para classificação
Licença não comercial
Primeiros passos com TabFM 1.0.0 (PyTorch)
Acessar modelo: Visite a página do Hugging Face
Autenticar: Use credenciais do Hugging Face
Configurar ambiente: Instale o PyTorch
Integrar via API: Use a API do Hugging Face Hub
Otimizar: Avaliar em dados representativos
Casos de uso de TabFM 1.0.0 (PyTorch)
- Classificação Binária
- Classificação Multiclasse
- Análise de Regressão
- Integração com DataFrame
- Suporte a Arrays Numpy
