Descripción
TabFM 1.0.0 (PyTorch) es un modelo de base tabular de cero disparos desarrollado por Google Research. Está diseñado para manejar tareas de clasificación y regresión en datos estructurados, específicamente datos tabulares con columnas numéricas y categóricas mixtas. El modelo opera sin necesidad de ajuste fino o búsqueda de hiperparámetros, permitiendo a los usuarios pasar ejemplos de entrenamiento como contexto y realizar predicciones en una sola pasada hacia adelante.
Leer más
La arquitectura del modelo emplea atención alternante de filas y columnas para capturar interacciones de características y patrones a nivel de fila. La atención de columnas utiliza Set Transformer para incrustar cada celda con características de Fourier y agrega a través de filas mediante atención propia inducida. La compresión de filas se logra a través de tokens CLS que resumen cada fila en un vector denso utilizando atención a nivel de fila con Embedding de Posición Rotativa (RoPE). El ICL Transformer, un transformador causal de 24 bloques, opera sobre estos vectores de fila comprimidos, tratando las filas de entrenamiento como contexto y generando predicciones para las filas de prueba.
TabFM está optimizado para clasificación binaria y multicategoría (hasta 10 clases) y regresión en objetivos continuos. Admite datos en forma de DataFrames de pandas o arreglos de numpy. El modelo fue entrenado en cientos de millones de conjuntos de datos sintéticos generados utilizando modelos causales estructurales (SCMs), que codifican sesgos inductivos sobre estructuras causales típicas en tareas tabulares.
Las evaluaciones de rendimiento en TabArena a través de 51 conjuntos de datos muestran que TabFM supera a las líneas base supervisadas ajustadas en gran medida, incluyendo árboles de gradiente, en modo de cero disparos. Sin embargo, tiene limitaciones, como un máximo de 10 clases para clasificación y un uso de memoria que escala con el número de filas de entrenamiento. No está destinado para uso comercial, imágenes, audio, video, texto sin procesar o datos estructurados no tabulares.
Los pesos del modelo se publican bajo la Licencia No Comercial de TabFM v1.0, y el código fuente está disponible bajo la licencia Apache 2.0.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de TabFM 1.0.0 (PyTorch)
Modelo tabular de cero disparos
Admite clasificación y regresión
Maneja datos numéricos y categóricos mixtos
No se requiere ajuste fino
Atención alternante de filas y columnas
Entrenado en conjuntos de datos sintéticos
Máximo de 10 clases para clasificación
Licencia no comercial
Primeros pasos con TabFM 1.0.0 (PyTorch)
Acceder al modelo: Visitar la página de Hugging Face
Autenticarse: Usar credenciales de Hugging Face
Configurar el entorno: Instalar PyTorch
Integrar a través de API: Usar la API de Hugging Face Hub
Optimizar: Evaluar en datos representativos
Casos de uso de TabFM 1.0.0 (PyTorch)
- Clasificación Binaria
- Clasificación Multiclase
- Análisis de Regresión
- Integración de DataFrame
- Soporte para Arreglos de Numpy
