Описание
TabFM 1.0.0 (PyTorch) — это модель нулевого выстрела для табличных данных, разработанная Google Research. Она предназначена для выполнения задач классификации и регрессии на структурированных данных, в частности на табличных данных с смешанными числовыми и категориальными столбцами. Модель работает без необходимости в дообучении или поиске гиперпараметров, позволяя пользователям передавать примеры обучения в качестве контекста и делать предсказания за один проход вперед.
Читать далее
Архитектура модели использует чередующееся внимание к строкам и столбцам для захвата взаимодействий признаков и паттернов на уровне строк. Внимание к столбцам использует Set Transformer для встраивания каждой ячейки с помощью фурье-признаков и агрегирует данные по строкам через индуцированное само-внимание. Сжатие строк достигается с помощью токенов CLS, которые обобщают каждую строку в плотный вектор, используя внимание на уровне строк с помощью Rotary Position Embedding (RoPE). ICL Transformer, каскадный трансформер с 24 блоками, работает с этими сжатыми векторами строк, рассматривая строки обучения как контекст и выдавая предсказания для тестовых строк.
TabFM оптимизирован для бинарной и многоклассовой классификации (до 10 классов) и регрессии на непрерывных целевых переменных. Он поддерживает данные в виде pandas DataFrames или numpy массивов. Модель была обучена на сотнях миллионов синтетических наборов данных, сгенерированных с использованием структурных причинных моделей (SCM), которые кодируют индуктивные предвзятости о причинных структурах, типичных для табличных задач.
Оценки производительности на TabArena по 51 набору данных показывают, что TabFM превосходит сильно настроенные контролируемые базовые модели, включая градиентные бустированные деревья, в режиме нулевого выстрела. Однако у нее есть ограничения, такие как максимум 10 классов для классификации и использование памяти, которое увеличивается с количеством строк обучения. Она не предназначена для коммерческого использования, изображений, аудио, видео, необработанного текста или не табличных структурированных данных.
Веса модели выпущены под лицензией TabFM Non-Commercial License v1.0, а исходный код доступен под лицензией Apache 2.0.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о TabFM 1.0.0 (PyTorch)
Модель табличных данных нулевого выстрела
Поддержка классификации и регрессии
Обработка смешанных числовых и категориальных данных
Не требуется дообучение
Чередующееся внимание к строкам и столбцам
Обучена на синтетических наборах данных
Максимум 10 классов для классификации
Некомерческая лицензия
Начало работы с TabFM 1.0.0 (PyTorch)
Доступ к модели: посетите страницу Hugging Face
Аутентификация: используйте учетные данные Hugging Face
Настройка окружения: установите PyTorch
Интеграция через API: используйте API Hugging Face Hub
Оптимизация: оцените на репрезентативных данных
Варианты использования TabFM 1.0.0 (PyTorch)
- Бинарная классификация
- Многоклассовая классификация
- Регрессионный анализ
- Интеграция с DataFrame
- Поддержка массивов Numpy
