Описание
Этот репозиторий служит официальной реализацией исследовательской статьи «Пересмотр моделей глубокого обучения для табличных данных», представленной на конференции NeurIPS 2021. Проект углубляется в эффективность различных архитектур глубокого обучения при применении к табличным наборам данных, области, где традиционные методы, такие как градиентные бустинговые деревья решений (GBDT), часто превосходят.
Основные выводы статьи, отраженные в этом репозитории, указывают на то, что простые, хорошо настроенные многослойные перцептроны (MLP) остаются высококонкурентоспособными, часто работая наравне или даже превосходя более сложные модели глубокого обучения. Архитектура ResNet, вариант MLP, включающий пропускные соединения и пакетную нормализацию, еще больше усиливает силу структур типа MLP для табличных данных. Однако исследование также представляет FT-Transformer, новую архитектуру, которая адаптирует модель Transformer для табличных данных. FT-Transformer демонстрирует превосходную среднюю производительность по бенчмаркам по сравнению с другими глубокими моделями и значительно сокращает разрыв в производительности между глубоким обучением и GBDT на наборах данных, где GBDT традиционно доминируют.
Репозиторий структурирован для облегчения воспроизведения результатов статьи и дальнейших исследований. Он включает пакет Python для практического использования, подробные метрики и гиперпараметры для различных моделей и наборов данных, а также четкие инструкции по настройке, загрузке данных и выполнению скриптов настройки, оценки и ансамблирования. Код организован по каталогам для обучения, ансамблирования, настройки, анализа и общих инструментов, с выходными данными, включающими подробную статистику и конфигурации.
Этот проект ценен для исследователей и практиков в области машинного обучения, особенно тех, кто работает с табличными данными. Он предоставляет надежную основу для экспериментов и развертывания моделей глубокого обучения, предлагая понимание того, какие архитектуры работают лучше всего и при каких условиях. Включение FT-Transformer предполагает перспективное направление для развития глубокого обучения на структурированных данных.
Главное о Модели глубокого обучения для табличных данных
Официальная реализация статьи NeurIPS 2021 «Пересмотр моделей глубокого обучения для табличных данных»
Исследует модели типа MLP как сильные базовые решения для табличных данных
Представляет FT-Transformer, адаптацию архитектуры Transformer для табличных данных
Предоставляет пакет Python для практического применения и будущих исследований
Включает подробные метрики и настроенные гиперпараметры для различных моделей и наборов данных
Кодовая база для воспроизведения представленных результатов
Скрипты для настройки гиперпараметров, оценки моделей и ансамблирования
Поддерживает среды PyTorch и TensorFlow для экспериментов
Облегчает сравнение моделей глубокого обучения и GBDT на табличных данных
Предлагает понимание характеристик производительности различных архитектур глубокого обучения на табличных данных
Начало работы с Модели глубокого обучения для табличных данных
Настройка среды: Установите необходимые зависимости с помощью Conda и pip.
Загрузка данных: Получите архив набора данных и распакуйте его в корневой каталог репозитория.
Воспроизведение результатов: Следуйте шагам руководства по настройке, оценке и ансамблированию.
Запуск скриптов: Выполняйте скрипты Python из корневого каталога репозитория, предоставляя файлы конфигурации.
Интеграция через API: Используйте пакет Python для практического применения.
Анализ метрик: Анализируйте файлы `stats.json` для понимания производительности модели.
Конфигурация моделей: Изменяйте файлы конфигурации TOML для пользовательских экспериментов.
Варианты использования Модели глубокого обучения для табличных данных
- Анализ табличных данных
- Бенчмаркинг моделей
- Реализация исследований
- Исследование инженерии признаков
- Прогнозное моделирование
