説明
TabFM 1.0.0 (PyTorch)は、Google Researchによって開発されたゼロショットの表形式基盤モデルです。これは、特に数値列とカテゴリ列が混在する構造化データに対する分類および回帰タスクを処理するように設計されています。このモデルは、ファインチューニングやハイパーパラメータの探索を必要とせず、ユーザーがトレーニング例をコンテキストとして渡し、単一のフォワードパスで予測を行うことができます。
続きを読む
モデルアーキテクチャは、特徴の相互作用と行レベルのパターンを捉えるために、行と列の注意を交互に使用します。列の注意は、Set Transformerを使用して各セルをフーリエ特徴で埋め込み、誘導された自己注意を介して行を集約します。行の圧縮は、CLSトークンを使用して各行を密なベクトルに要約し、ローテーション位置埋め込み(RoPE)を用いた行レベルの注意を使用して実現されます。ICL Transformerは、24ブロックの因果トランスフォーマーで、これらの圧縮された行ベクトル上で動作し、トレーニング行をコンテキストとして扱い、テスト行の予測を出力します。
TabFMは、バイナリおよびマルチクラス分類(最大10クラス)および連続ターゲットに対する回帰に最適化されています。pandas DataFrameまたはnumpy配列の形式でデータをサポートします。このモデルは、表形式タスクに典型的な因果構造に関する帰納的バイアスをエンコードする構造的因果モデル(SCM)を使用して生成された数億の合成データセットでトレーニングされました。
51のデータセットにわたるTabArenaでのパフォーマンス評価は、TabFMがゼロショットモードで、勾配ブーストツリーを含む高度に調整された教師ありベースラインを上回ることを示しています。ただし、分類の最大クラス数が10であることや、トレーニング行の数に応じてメモリ使用量がスケールするなどの制限があります。商業利用、画像、音声、動画、生のテキスト、または非表形式の構造化データには使用されることを意図していません。
モデルの重みは、TabFM非商業ライセンスv1.0の下で公開されており、ソースコードはApache 2.0ライセンスの下で利用可能です。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
TabFM 1.0.0 (PyTorch)のハイライト
ゼロショット表形式モデル
分類と回帰をサポート
混合数値データとカテゴリデータを処理
ファインチューニング不要
交互の行と列の注意
合成データセットでトレーニング
分類の最大クラス数は10
非商業ライセンス
TabFM 1.0.0 (PyTorch)をはじめる
モデルにアクセス: Hugging Faceページを訪問
認証: Hugging Faceの資格情報を使用
環境を設定: PyTorchをインストール
API経由で統合: Hugging Face Hub APIを使用
最適化: 代表的なデータで評価
TabFM 1.0.0 (PyTorch)の使用例
- バイナリ分類
- マルチクラス分類
- 回帰分析
- DataFrame統合
- Numpy配列サポート











