Beschreibung
TabFM 1.0.0 (PyTorch) ist ein Zero-Shot-Tabellen-Grundmodell, das von Google Research entwickelt wurde. Es ist darauf ausgelegt, Klassifikations- und Regressionsaufgaben auf strukturierten Daten, insbesondere tabellarischen Daten mit gemischten numerischen und kategorischen Spalten, zu bewältigen. Das Modell funktioniert ohne die Notwendigkeit von Fine-Tuning oder Hyperparameter-Suche, sodass Benutzer Trainingsbeispiele als Kontext übergeben und Vorhersagen in einem einzigen Vorwärtsdurchlauf treffen können.
Weiterlesen
Die Modellarchitektur verwendet abwechselnde Zeilen- und Spaltenaufmerksamkeit, um Merkmalsinteraktionen und zeilenbasierte Muster zu erfassen. Die Spaltenaufmerksamkeit nutzt Set Transformer, um jede Zelle mit Fourier-Features einzubetten und über Zeilen hinweg durch induzierte Selbstaufmerksamkeit zu aggregieren. Die Zeilenkompression erfolgt durch CLS-Token, die jede Zeile in einen dichten Vektor zusammenfassen, wobei zeilenbasierte Aufmerksamkeit mit Rotary Position Embedding (RoPE) verwendet wird. Der ICL Transformer, ein 24-Block-kausaler Transformer, arbeitet über diese komprimierten Zeilenvektoren und behandelt Trainingszeilen als Kontext, während er Vorhersagen für Testzeilen ausgibt.
TabFM ist für binäre und mehrklassige Klassifikation (bis zu 10 Klassen) sowie Regression auf kontinuierliche Ziele optimiert. Es unterstützt Daten in Form von pandas DataFrames oder numpy Arrays. Das Modell wurde an Hunderten von Millionen synthetischen Datensätzen trainiert, die mit strukturellen kausalen Modellen (SCMs) generiert wurden, die induktive Verzerrungen über kausale Strukturen kodieren, die typisch für tabellarische Aufgaben sind.
Leistungsbewertungen auf TabArena über 51 Datensätze zeigen, dass TabFM stark optimierte überwachte Baselines, einschließlich gradientenverstärkter Bäume, im Zero-Shot-Modus übertrifft. Es hat jedoch Einschränkungen, wie eine maximale Anzahl von 10 Klassen für die Klassifikation und einen Speicherbedarf, der mit der Anzahl der Trainingszeilen skaliert. Es ist nicht für kommerzielle Nutzung, Bilder, Audio, Video, Rohtext oder nicht-tabellarische strukturierte Daten gedacht.
Die Modellgewichte werden unter der TabFM Non-Commercial License v1.0 veröffentlicht, und der Quellcode ist unter der Apache 2.0-Lizenz verfügbar.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
TabFM 1.0.0 (PyTorch) im Überblick
Zero-Shot-Tabellenmodell
Unterstützt Klassifikation und Regression
Verarbeitet gemischte numerische und kategorische Daten
Kein Fine-Tuning erforderlich
Abwechselnde Zeilen- und Spaltenaufmerksamkeit
Trainiert an synthetischen Datensätzen
Maximal 10 Klassen für Klassifikation
Nicht-kommerzielle Lizenz
Erste Schritte mit TabFM 1.0.0 (PyTorch)
Modellzugriff: Besuchen Sie die Hugging Face-Seite
Authentifizierung: Verwenden Sie Hugging Face-Anmeldeinformationen
Umgebung einrichten: Installieren Sie PyTorch
Integration über API: Verwenden Sie die Hugging Face Hub API
Optimierung: Bewerten Sie an repräsentativen Daten
TabFM 1.0.0 (PyTorch)'s Anwendungsfälle
- Binäre Klassifikation
- Mehrklassige Klassifikation
- Regressionsanalyse
- DataFrame-Integration
- Numpy-Array-Unterstützung
