Description
TabFM 1.0.0 (PyTorch) est un modèle fondamental tabulaire en zéro-shot développé par Google Research. Il est conçu pour gérer des tâches de classification et de régression sur des données structurées, spécifiquement des données tabulaires avec des colonnes numériques et catégorielles mixtes. Le modèle fonctionne sans nécessiter de fine-tuning ou de recherche d'hyperparamètres, permettant aux utilisateurs de passer des exemples d'entraînement comme contexte et de faire des prédictions en un seul passage avant.
Lire la suite
L'architecture du modèle utilise une attention alternée sur les lignes et les colonnes pour capturer les interactions entre les caractéristiques et les motifs au niveau des lignes. L'attention sur les colonnes utilise le Set Transformer pour intégrer chaque cellule avec des caractéristiques de Fourier et agrège les lignes via une auto-attention induite. La compression des lignes est réalisée grâce à des tokens CLS qui résument chaque ligne en un vecteur dense en utilisant une attention au niveau des lignes avec l'Embedding de Position Rotatif (RoPE). Le Transformer ICL, un transformer causal de 24 blocs, fonctionne sur ces vecteurs de lignes compressés, traitant les lignes d'entraînement comme contexte et produisant des prédictions pour les lignes de test.
TabFM est optimisé pour la classification binaire et multiclass (jusqu'à 10 classes) et la régression sur des cibles continues. Il prend en charge des données sous forme de DataFrames pandas ou de tableaux numpy. Le modèle a été entraîné sur des centaines de millions de jeux de données synthétiques générés à l'aide de modèles causaux structurels (SCMs), qui encodent des biais inductifs sur les structures causales typiques dans les tâches tabulaires.
Les évaluations de performance sur TabArena à travers 51 jeux de données montrent que TabFM surpasse des références supervisées fortement ajustées, y compris des arbres de décision boostés par gradient, en mode zéro-shot. Cependant, il présente des limitations, telles qu'un maximum de 10 classes pour la classification et une utilisation de la mémoire qui évolue avec le nombre de lignes d'entraînement. Il n'est pas destiné à un usage commercial, aux images, à l'audio, à la vidéo, au texte brut ou aux données structurées non tabulaires.
Les poids du modèle sont publiés sous la licence non commerciale TabFM v1.0, et le code source est disponible sous la licence Apache 2.0.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de TabFM 1.0.0 (PyTorch)
Modèle tabulaire en zéro-shot
Prend en charge la classification et la régression
Gère des données numériques et catégorielles mixtes
Aucun fine-tuning requis
Attention alternée sur les lignes et les colonnes
Entraîné sur des jeux de données synthétiques
Maximum de 10 classes pour la classification
Licence non commerciale
Premiers pas avec TabFM 1.0.0 (PyTorch)
Accéder au modèle : Visitez la page Hugging Face
S'authentifier : Utilisez les identifiants Hugging Face
Configurer l'environnement : Installer PyTorch
Intégrer via l'API : Utiliser l'API Hugging Face Hub
Optimiser : Évaluer sur des données représentatives
Cas d'utilisation de TabFM 1.0.0 (PyTorch)
- Classification binaire
- Classification multiclass
- Analyse de régression
- Intégration de DataFrame
- Support des tableaux Numpy
