Deskripsi
TabFM 1.0.0 (PyTorch) adalah model dasar tabular zero-shot yang dikembangkan oleh Google Research. Model ini dirancang untuk menangani tugas klasifikasi dan regresi pada data terstruktur, khususnya data tabular dengan kolom numerik dan kategorikal campuran. Model ini beroperasi tanpa memerlukan fine-tuning atau pencarian hyperparameter, memungkinkan pengguna untuk memberikan contoh pelatihan sebagai konteks dan membuat prediksi dalam satu langkah maju.
Baca Selengkapnya
Arsitektur model menggunakan perhatian baris dan kolom yang bergantian untuk menangkap interaksi fitur dan pola tingkat baris. Perhatian kolom menggunakan Set Transformer untuk menyematkan setiap sel dengan fitur Fourier dan mengagregasi di seluruh baris melalui perhatian diri yang diinduksi. Kompresi baris dicapai melalui token CLS yang merangkum setiap baris menjadi vektor padat menggunakan perhatian tingkat baris dengan Rotary Position Embedding (RoPE). ICL Transformer, sebuah transformer kausal 24-blok, beroperasi di atas vektor baris yang terkompresi ini, memperlakukan baris pelatihan sebagai konteks dan mengeluarkan prediksi untuk baris pengujian.
TabFM dioptimalkan untuk klasifikasi biner dan multikelas (hingga 10 kelas) serta regresi pada target kontinu. Model ini mendukung data dalam bentuk pandas DataFrames atau numpy arrays. Model ini dilatih pada ratusan juta dataset sintetis yang dihasilkan menggunakan model kausal struktural (SCMs), yang mengkodekan bias induktif tentang struktur kausal yang khas dalam tugas tabular.
Evaluasi kinerja di TabArena di 51 dataset menunjukkan bahwa TabFM mengungguli baseline terawasi yang telah disetel dengan baik, termasuk pohon yang ditingkatkan gradien, dalam mode zero-shot. Namun, model ini memiliki keterbatasan, seperti maksimum 10 kelas untuk klasifikasi dan penggunaan memori yang meningkat seiring dengan jumlah baris pelatihan. Model ini tidak dimaksudkan untuk penggunaan komersial, gambar, audio, video, teks mentah, atau data terstruktur non-tabular.
Bobot model dirilis di bawah Lisensi Non-Komersial TabFM v1.0, dan kode sumber tersedia di bawah lisensi Apache 2.0.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan TabFM 1.0.0 (PyTorch)
Model tabular zero-shot
Mendukung klasifikasi dan regresi
Menangani data numerik dan kategorikal campuran
Tidak memerlukan fine-tuning
Perhatian baris dan kolom yang bergantian
Dilatih pada dataset sintetis
Maksimum 10 kelas untuk klasifikasi
Lisensi non-komersial
Memulai dengan TabFM 1.0.0 (PyTorch)
Akses model: Kunjungi halaman Hugging Face
Autentikasi: Gunakan kredensial Hugging Face
Siapkan lingkungan: Instal PyTorch
Integrasi melalui API: Gunakan API Hugging Face Hub
Optimalkan: Evaluasi pada data representatif
Kasus Penggunaan TabFM 1.0.0 (PyTorch)
- Klasifikasi Biner
- Klasifikasi Multikelas
- Analisis Regresi
- Integrasi DataFrame
- Dukungan Numpy Array
