Autoformer

Описание

Autoformer — это передовая ИИ-модель, разработанная для долгосрочного прогнозирования временных рядов, представленная на конференции NeurIPS 2021. Она отвечает критической потребности в точных прогнозах для реальных приложений, предлагая новую архитектуру, выходящую за рамки традиционных моделей Transformer. Основное новшество заключается в связях между рядами, достигаемых за счет глубокой архитектуры декомпозиции и уникального механизма Auto-Correlation.

Глубокая архитектура декомпозиции последовательно разбивает временные ряды на трендовые и сезонные компоненты, что позволяет более тонко понимать и прогнозировать будущие значения. Это дополняется механизмом Auto-Correlation, вдохновленным теорией стохастических процессов. Этот механизм обнаруживает периодические зависимости и агрегирует информацию на уровне рядов, что приводит к естественной логарифмически-линейной сложности. Эта связь между рядами является значительным отходом от механизмов самовнимания, распространенных в других семействах Transformer.

Autoformer продемонстрировал передовую производительность, добившись относительного улучшения на 38% по сравнению с предыдущими базовыми моделями на шести бенчмарках в пяти практических приложениях: энергетика, транспорт, экономика, погода и заболевания. Проект предоставляет выпуск кода для исследовательской статьи, позволяя пользователям воспроизводить результаты и интегрировать модель в свои задачи прогнозирования. Репозиторий включает скрипты для обучения и оценки на различных наборах данных, а также инструкции по настройке среды и проведению экспериментов.

Последние обновления подчеркивают растущее влияние Autoformer, включая его включение в Hugging Face и выпуск расширенной версии в Nature Machine Intelligence. Кроме того, Autoformer был развернут во время Зимних Олимпийских игр 2022 года для прогнозирования погоды. Модель также является частью более широкой библиотеки Time-Series-Library, охватывающей ряд задач, связанных с временными рядами. Проект подчеркивает простоту использования благодаря интеграции Docker и Make для воспроизводимых результатов.

Целевая аудитория Autoformer включает исследователей, специалистов по данным и инженеров, работающих над задачами анализа и прогнозирования временных рядов. Его способность обрабатывать долгосрочные зависимости и достигать превосходной точности делает его ценным для приложений, требующих надежных будущих прогнозов. Уникальная архитектура модели и улучшения производительности представляют собой значительный прогресс в области прогнозирования временных рядов.

Главное о Autoformer

• Глубокая архитектура декомпозиции для прогрессивного анализа компонентов

• Механизм Auto-Correlation между рядами для периодических зависимостей

• Естественная логарифмически-линейная сложность

• Передовая производительность в долгосрочном прогнозировании рядов

• Достигает относительного улучшения на 38% на шести бенчмарках

• Применимо для прогнозирования в энергетике, транспорте, экономике, погоде и заболеваниях

• Доступен выпуск кода для исследований и внедрения

• Не требуется позиционное вложение благодаря связи между рядами

• Блок типа пакетной нормализации для удобного доступа к памяти Auto-Correlation

• Воспроизводимые результаты с использованием Docker, conda и Make

Начало работы с Autoformer

1. 1

   Настройка среды: Установите Python 3.6 и PyTorch 1.9.0.

2. 2

   Загрузка данных: Получите эталонные наборы данных из Google Drive.

3. 3

   Обучение модели: Выполните скрипты экспериментов, предоставленные в папке ./scripts.

4. 4

   Интеграция через API: Используйте возможности прогнозирования модели в пользовательских приложениях.

5. 5

   Воспроизведение результатов: Следуйте инструкциям Docker для инициализации среды и выполнения скриптов.

6. 6

   Запуск экспериментов: Используйте предоставленные bash-скрипты для конкретных наборов данных, таких как ETTm1 или ECL.

7. 7

   Адаптация для новых задач: Изучите Time-Series-Library для расширенного прогнозирования, заполнения пропусков и обнаружения аномалий.

Варианты использования Autoformer

• Прогнозирование в энергетике
• Прогнозирование трафика
• Экономическое прогнозирование
• Прогнозирование погоды
• Прогнозирование вспышек заболеваний
• Анализ финансовых временных рядов
• Оптимизация цепочек поставок

Часто задаваемые вопросы Autoformer

• Для чего используется Autoformer?

  Autoformer — это ИИ-модель, предназначенная для долгосрочного прогнозирования временных рядов в различных приложениях, таких как энергетика, транспорт, экономика, погода и заболевания.

• Чем Autoformer отличается от стандартных Transformer?

  Autoformer представляет глубокую архитектуру декомпозиции и механизм Auto-Correlation между рядами, обеспечивая связи на уровне рядов и естественную логарифмически-линейную сложность, в отличие от самовнимания в стандартных Transformer.

• Каковы основные преимущества использования Autoformer?

  Autoformer достигает передовой производительности в долгосрочном прогнозировании, предлагая значительные относительные улучшения по сравнению с предыдущими моделями и эффективно обрабатывая сложные временные зависимости.

• Каковы технические требования для запуска Autoformer?

  Для запуска Autoformer вам потребуются Python 3.6 и PyTorch 1.9.0. Наборы данных доступны через Google Drive, а скрипты предоставляются для обучения.

• Может ли Autoformer использоваться для приложений, помимо прогнозирования?

  Да, Autoformer является частью библиотеки Time-Series-Library, которая охватывает заполнение пропусков, обнаружение аномалий и классификацию в дополнение к долгосрочному и краткосрочному прогнозированию.

• Как я могу воспроизвести результаты статьи об Autoformer?

  Репозиторий предоставляет скрипты экспериментов и интеграцию Docker для легкого воспроизведения представленных результатов на эталонных наборах данных.

• Подходит ли Autoformer для прогнозирования в реальном времени?

  Хотя модель оптимизирована для долгосрочного прогнозирования, ее эффективный механизм Auto-Correlation с логарифмически-линейной сложностью может быть полезен для различных сценариев прогнозирования.

• Где я могу найти исследовательскую статью об Autoformer?

  Исследовательская статья доступна на arXiv по адресу https://arxiv.org/abs/2106.13008.

• Требует ли Autoformer позиционных вложений?

  Нет, Autoformer не требует позиционных вложений, поскольку его связь между рядами естественным образом сохраняет последовательную информацию.

• На каких наборах данных тестировался Autoformer?

  Autoformer тестировался на шести бенчмарках, охватывающих наборы данных по энергетике, транспорту, экономике, погоде и заболеваниям.