Описание
Autoformer — это передовая ИИ-модель, разработанная для долгосрочного прогнозирования временных рядов, представленная на конференции NeurIPS 2021. Она отвечает критической потребности в точных прогнозах для реальных приложений, предлагая новую архитектуру, выходящую за рамки традиционных моделей Transformer. Основное новшество заключается в связях между рядами, достигаемых за счет глубокой архитектуры декомпозиции и уникального механизма Auto-Correlation.
Читать далее
Глубокая архитектура декомпозиции последовательно разбивает временные ряды на трендовые и сезонные компоненты, что позволяет более тонко понимать и прогнозировать будущие значения. Это дополняется механизмом Auto-Correlation, вдохновленным теорией стохастических процессов. Этот механизм обнаруживает периодические зависимости и агрегирует информацию на уровне рядов, что приводит к естественной логарифмически-линейной сложности. Эта связь между рядами является значительным отходом от механизмов самовнимания, распространенных в других семействах Transformer.
Autoformer продемонстрировал передовую производительность, добившись относительного улучшения на 38% по сравнению с предыдущими базовыми моделями на шести бенчмарках в пяти практических приложениях: энергетика, транспорт, экономика, погода и заболевания. Проект предоставляет выпуск кода для исследовательской статьи, позволяя пользователям воспроизводить результаты и интегрировать модель в свои задачи прогнозирования. Репозиторий включает скрипты для обучения и оценки на различных наборах данных, а также инструкции по настройке среды и проведению экспериментов.
Последние обновления подчеркивают растущее влияние Autoformer, включая его включение в Hugging Face и выпуск расширенной версии в Nature Machine Intelligence. Кроме того, Autoformer был развернут во время Зимних Олимпийских игр 2022 года для прогнозирования погоды. Модель также является частью более широкой библиотеки Time-Series-Library, охватывающей ряд задач, связанных с временными рядами. Проект подчеркивает простоту использования благодаря интеграции Docker и Make для воспроизводимых результатов.
Целевая аудитория Autoformer включает исследователей, специалистов по данным и инженеров, работающих над задачами анализа и прогнозирования временных рядов. Его способность обрабатывать долгосрочные зависимости и достигать превосходной точности делает его ценным для приложений, требующих надежных будущих прогнозов. Уникальная архитектура модели и улучшения производительности представляют собой значительный прогресс в области прогнозирования временных рядов.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Основные функции Autoformer
Глубокая архитектура декомпозиции для прогрессивного анализа компонентов
Механизм Auto-Correlation между рядами для периодических зависимостей
Естественная логарифмически-линейная сложность
Передовая производительность в долгосрочном прогнозировании рядов
Достигает относительного улучшения на 38% на шести бенчмарках
Применимо для прогнозирования в энергетике, транспорте, экономике, погоде и заболеваниях
Доступен выпуск кода для исследований и внедрения
Не требуется позиционное вложение благодаря связи между рядами
Блок типа пакетной нормализации для удобного доступа к памяти Auto-Correlation
Воспроизводимые результаты с использованием Docker, conda и Make
Начало работы с Autoformer
Настройка среды: Установите Python 3.6 и PyTorch 1.9.0.
Загрузка данных: Получите эталонные наборы данных из Google Drive.
Обучение модели: Выполните скрипты экспериментов, предоставленные в папке ./scripts.
Интеграция через API: Используйте возможности прогнозирования модели в пользовательских приложениях.
Воспроизведение результатов: Следуйте инструкциям Docker для инициализации среды и выполнения скриптов.
Запуск экспериментов: Используйте предоставленные bash-скрипты для конкретных наборов данных, таких как ETTm1 или ECL.
Адаптация для новых задач: Изучите Time-Series-Library для расширенного прогнозирования, заполнения пропусков и обнаружения аномалий.
Варианты использования Autoformer
- Прогнозирование в энергетике
- Прогнозирование трафика
- Экономическое прогнозирование
- Прогнозирование погоды
- Прогнозирование вспышек заболеваний
- Анализ финансовых временных рядов
- Оптимизация цепочек поставок
