描述
TabFM 1.0.0 (PyTorch) 是由 Google Research 开发的零-shot 表格基础模型。它旨在处理结构化数据上的分类和回归任务,特别是具有混合数值和分类列的表格数据。该模型无需微调或超参数搜索,允许用户将训练示例作为上下文传递,并在单次前向传递中进行预测。
阅读更多
该模型架构采用交替的行和列注意力机制,以捕捉特征交互和行级模式。列注意力使用集合变换器嵌入每个单元格的傅里叶特征,并通过诱导自注意力在行之间进行聚合。行压缩通过 CLS 令牌实现,这些令牌使用行级注意力和旋转位置嵌入(RoPE)将每行总结为一个密集向量。ICL 变换器是一个 24 块的因果变换器,操作这些压缩的行向量,将训练行视为上下文,并为测试行输出预测。
TabFM 针对二元和多类分类(最多 10 类)以及连续目标的回归进行了优化。它支持以 pandas DataFrames 或 numpy 数组的形式提供数据。该模型是在数亿个使用结构因果模型(SCMs)生成的合成数据集上训练的,这些模型编码了关于表格任务中典型因果结构的归纳偏见。
在 TabArena 上对 51 个数据集的性能评估显示,TabFM 在零-shot 模式下超越了经过大量调优的监督基线,包括梯度提升树。然而,它也有一些限制,例如分类的最大类数为 10 类,以及内存使用量随着训练行数的增加而增加。它不适用于商业用途、图像、音频、视频、原始文本或非表格结构化数据。
模型权重根据 TabFM 非商业许可证 v1.0 发布,源代码在 Apache 2.0 许可证下提供。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
TabFM 1.0.0 (PyTorch)亮点
零-shot 表格模型
支持分类和回归
处理混合数值和分类数据
无需微调
交替的行和列注意力
在合成数据集上训练
分类最多 10 类
非商业许可证
TabFM 1.0.0 (PyTorch)入门
访问模型:访问 Hugging Face 页面
身份验证:使用 Hugging Face 凭据
设置环境:安装 PyTorch
通过 API 集成:使用 Hugging Face Hub API
优化:在代表性数据上进行评估
TabFM 1.0.0 (PyTorch)的使用案例
- 二元分类
- 多类分类
- 回归分析
- DataFrame 集成
- Numpy 数组支持











