Descripción
Este repositorio sirve como la implementación oficial del artículo de investigación "Revisiting Deep Learning Models for Tabular Data", presentado en NeurIPS 2021. El proyecto profundiza en la efectividad de varias arquitecturas de deep learning cuando se aplican a conjuntos de datos tabulares, un dominio donde los métodos tradicionales como los árboles de decisión potenciados por gradiente (GBDTs) a menudo sobresalen.
Los hallazgos principales del artículo, reflejados en este repositorio, indican que los Perceptrones Multicapa (MLPs) simples y bien ajustados siguen siendo altamente competitivos, a menudo rindiendo a la par o incluso superando a modelos de deep learning más complejos. La arquitectura ResNet, una variante de MLP que incorpora conexiones de salto y normalización por lotes, refuerza aún más la fortaleza de las estructuras tipo MLP para datos tabulares. Sin embargo, la investigación también introduce el FT-Transformer, una arquitectura novedosa que adapta el modelo Transformer para datos tabulares. FT-Transformer demuestra un rendimiento promedio superior en benchmarks en comparación con otros modelos profundos y reduce significativamente la brecha de rendimiento entre el deep learning y los GBDTs en conjuntos de datos donde los GBDTs tradicionalmente dominan.
El repositorio está estructurado para facilitar la reproducción de los resultados del artículo y la investigación futura. Incluye un paquete de Python para uso práctico, métricas detalladas e hiperparámetros para varios modelos y conjuntos de datos, e instrucciones claras sobre la configuración, descarga de datos y ejecución de scripts de ajuste, evaluación y ensamblaje. El código está organizado en directorios para entrenamiento, ensamblaje, ajuste, análisis y herramientas comunes, con salidas que incluyen estadísticas detalladas y configuraciones.
Este proyecto es valioso para investigadores y profesionales en machine learning, particularmente aquellos que trabajan con datos tabulares. Proporciona un marco robusto para experimentar y desplegar modelos de deep learning, ofreciendo información sobre qué arquitecturas funcionan mejor y bajo qué condiciones. La inclusión de FT-Transformer sugiere una dirección prometedora para avanzar el deep learning en datos estructurados.
Aspectos destacados de Modelos de Deep Learning para Datos Tabulares
Implementación oficial del artículo de NeurIPS 2021 'Revisiting Deep Learning Models for Tabular Data'
Explora modelos tipo MLP como bases sólidas para datos tabulares
Introduce FT-Transformer, una adaptación de la arquitectura Transformer para datos tabulares
Proporciona un paquete de Python para aplicación práctica e investigación futura
Incluye métricas detalladas e hiperparámetros ajustados para varios modelos y conjuntos de datos
Código base para reproducir los resultados reportados
Scripts para ajuste de hiperparámetros, evaluación de modelos y ensamblaje
Soporta entornos PyTorch y TensorFlow para experimentación
Facilita la comparación entre modelos de deep learning y GBDTs en conjuntos de datos tabulares
Ofrece información sobre las características de rendimiento de diferentes arquitecturas de deep learning en datos tabulares
Primeros pasos con Modelos de Deep Learning para Datos Tabulares
Configurar entorno: Instalar las dependencias necesarias usando Conda y pip.
Descargar datos: Obtener el archivo del conjunto de datos y descomprimirlo en la raíz del repositorio.
Reproducir resultados: Seguir los pasos del tutorial para ajuste, evaluación y ensamblaje.
Ejecutar scripts: Ejecutar scripts de Python desde la raíz del repositorio, proporcionando archivos de configuración.
Integrar vía API: Utilizar el paquete de Python para aplicación práctica.
Explorar métricas: Analizar los archivos `stats.json` para comprender el rendimiento del modelo.
Configurar modelos: Modificar los archivos de configuración TOML para experimentos personalizados.
Casos de uso de Modelos de Deep Learning para Datos Tabulares
- Análisis de Datos Tabulares
- Benchmarking de Modelos
- Implementación de Investigación
- Exploración de Ingeniería de Características
- Modelado Predictivo
