Description
Ce dépôt sert d'implémentation officielle pour l'article de recherche "Revisiting Deep Learning Models for Tabular Data", présenté à NeurIPS 2021. Le projet explore l'efficacité de diverses architectures d'apprentissage profond lorsqu'elles sont appliquées à des ensembles de données tabulaires, un domaine où les méthodes traditionnelles comme les arbres de décision à gradient boosting (GBDT) excellent souvent.
Lire la suite
Les principales conclusions de l'article, telles que reflétées dans ce dépôt, indiquent que les perceptrons multicouches (MLP) simples et bien réglés restent très compétitifs, souvent à égalité ou même surpassant les modèles d'apprentissage profond plus complexes. L'architecture ResNet, une variante de MLP intégrant des connexions résiduelles et la normalisation par lots, renforce encore la force des structures de type MLP pour les données tabulaires. Cependant, la recherche introduit également le FT-Transformer, une architecture novatrice qui adapte le modèle Transformer aux données tabulaires. FT-Transformer démontre des performances moyennes supérieures sur les benchmarks par rapport à d'autres modèles profonds et réduit considérablement l'écart de performance entre l'apprentissage profond et les GBDT sur les ensembles de données où les GBDT dominent traditionnellement.
Le dépôt est structuré pour faciliter la reproduction des résultats de l'article et la recherche future. Il comprend un package Python pour une utilisation pratique, des métriques détaillées et des hyperparamètres pour divers modèles et ensembles de données, ainsi que des instructions claires sur la configuration, le téléchargement des données et l'exécution des scripts de réglage, d'évaluation et d'assemblage. Le code est organisé en répertoires pour l'entraînement, l'assemblage, le réglage, l'analyse et les outils communs, avec des sorties incluant des statistiques détaillées et des configurations.
Ce projet est précieux pour les chercheurs et les praticiens en apprentissage automatique, en particulier ceux qui travaillent avec des données tabulaires. Il fournit un cadre robuste pour expérimenter et déployer des modèles d'apprentissage profond, offrant des informations sur les architectures les plus performantes et dans quelles conditions. L'inclusion de FT-Transformer suggère une direction prometteuse pour faire progresser l'apprentissage profond sur les données structurées.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Fonctionnalités principales de Modèles d'apprentissage profond pour données tabulaires
Implémentation officielle de l'article NeurIPS 2021 'Revisiting Deep Learning Models for Tabular Data'
Explore les modèles de type MLP comme de solides références pour les données tabulaires
Introduit FT-Transformer, une adaptation de l'architecture Transformer pour les données tabulaires
Fournit un package Python pour une application pratique et la recherche future
Comprend des métriques détaillées et des hyperparamètres réglés pour divers modèles et ensembles de données
Base de code pour reproduire les résultats rapportés
Scripts pour le réglage des hyperparamètres, l'évaluation des modèles et l'assemblage
Prend en charge les environnements PyTorch et TensorFlow pour l'expérimentation
Facilite la comparaison entre les modèles d'apprentissage profond et les GBDT sur des ensembles de données tabulaires
Offre des informations sur les caractéristiques de performance de différentes architectures d'apprentissage profond sur des données tabulaires
Premiers pas avec Modèles d'apprentissage profond pour données tabulaires
Configurer l'environnement : Installer les dépendances nécessaires à l'aide de Conda et pip.
Télécharger les données : Obtenir l'archive des ensembles de données et la décompresser à la racine du dépôt.
Reproduire les résultats : Suivre les étapes du tutoriel pour le réglage, l'évaluation et l'assemblage.
Exécuter les scripts : Exécuter les scripts Python depuis la racine du dépôt, en fournissant des fichiers de configuration.
Intégrer via API : Utiliser le package Python pour une application pratique.
Explorer les métriques : Analyser les fichiers `stats.json` pour comprendre les performances du modèle.
Configurer les modèles : Modifier les fichiers de configuration TOML pour des expériences personnalisées.
Cas d'utilisation de Modèles d'apprentissage profond pour données tabulaires
- Analyse de données tabulaires
- Benchmarking de modèles
- Implémentation de recherche
- Exploration de l'ingénierie des caractéristiques
- Modélisation prédictive
