描述
本存储库是 NeurIPS 2021 上发表的论文“重新审视表格数据的深度学习模型”的官方实现。该项目深入探讨了各种深度学习架构应用于表格数据集时的有效性,在这一领域,传统的梯度提升决策树(GBDTs)等方法通常表现出色。
阅读更多
本存储库所反映的论文核心发现表明,简单且经过良好调优的多层感知机(MLP)仍然具有很强的竞争力,其性能常常与更复杂的深度学习模型相当,甚至超越它们。ResNet 架构,一种结合了跳跃连接和批量归一化的 MLP 变体,进一步巩固了 MLP 类结构在表格数据上的优势。然而,该研究还引入了 FT-Transformer,这是一种将 Transformer 模型改编用于表格数据的新型架构。与其它深度模型相比,FT-Transformer 在基准测试中展现出更优异的平均性能,并显著缩小了在 GBDT 传统占优的数据集上深度学习与 GBDT 之间的性能差距。
该存储库的结构旨在促进论文结果的复现和进一步研究。它包含一个用于实际应用的 Python 包、各种模型和数据集的详细指标和超参数,以及关于设置、数据下载和执行调优、评估和集成脚本的清晰说明。代码被组织成用于训练、集成、调优、分析和通用工具的目录,输出包括详细的统计信息和配置。
该项目对于机器学习领域的研究人员和实践者,特别是那些处理表格数据的研究人员和实践者来说非常有价值。它提供了一个强大的框架,用于实验和部署深度学习模型,并深入了解哪些架构在何种条件下表现最佳。FT-Transformer 的包含预示着在结构化数据上推进深度学习的一个有前景的方向。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端, 自托管
- 平台网页版
用于表格数据的深度学习模型的核心功能
NeurIPS 2021 论文“重新审视表格数据的深度学习模型”的官方实现
探讨 MLP 类模型作为表格数据的强大基线
引入 FT-Transformer,一种用于表格数据的 Transformer 架构的改编
提供用于实际应用和未来研究的 Python 包
包含各种模型和数据集的详细指标和调优后的超参数
用于复现报告结果的代码库
用于超参数调优、模型评估和集成的脚本
支持 PyTorch 和 TensorFlow 环境进行实验
促进深度学习模型与 GBDT 在表格数据集上的比较
提供关于不同深度学习架构在表格数据上性能特征的见解
用于表格数据的深度学习模型入门
设置环境:使用 Conda 和 pip 安装必要的依赖项。
下载数据:获取数据集存档并将其解压到存储库根目录。
复现结果:遵循调优、评估和集成的教程步骤。
运行脚本:从存储库根目录执行 Python 脚本,提供配置文件。
通过 API 集成:利用 Python 包进行实际应用。
探索指标:分析 `stats.json` 文件以了解模型性能。
配置模型:修改 TOML 配置文件以进行自定义实验。
用于表格数据的深度学习模型的使用案例
- 表格数据分析
- 模型基准测试
- 研究实现
- 特征工程探索
- 预测建模









