Decision Transformer

Эта структура, названная Decision Transformer, напрямую выдает оптимальные действия, используя авторегрессионный Transformer с маскированием. Обусловливая авторегрессионную модель желаемым возвратом (вознаграждением), а также прошлыми состояниями и действиями, Decision Transformer может генерировать будущие действия, предназначенные для достижения этого конкретного возврата. Эта простота обеспечивает прямолинейную реализацию и оценку.

На практике Decision Transformer рассматривает траектории RL как последовательности. Каждый модальность — возврат, состояние или действие — обрабатывается через встраивающую сеть. Эти встраивания затем подаются в авторегрессионную модель Transformer, обученную предсказывать последующее действие. Оценка включает инициализацию модели целевым возвратом и начальным состоянием, затем развертывание последовательности для генерации действий для выполнения в среде, аналогично стандартной авторегрессионной генерации в языковых моделях.

Одна из ключевых продемонстрированных возможностей — способность «сшивать» подпоследовательности из различных обучающих траекторий для получения оптимальных путей во время тестирования. Например, при обучении на случайных блужданиях в задаче графа, Decision Transformer может сгенерировать оптимальный путь, обусловливаясь высоким возвратом, без явного обучения TD или пессимизма по ценности. Такое поведение отражает алгоритмы Q-обучения вне политики, но достигается посредством парадигмы моделирования последовательностей.

Decision Transformer был оценен на стандартных бенчмарках офлайн RL, включая Atari Learning Environment, OpenAI Gym и задачу Minigrid Key-To-Door. На этих разнообразных задачах, включающих дискретное и непрерывное управление, а также наблюдения изображений и состояний, Decision Transformer показал производительность, сравнимую со специализированными алгоритмами TD-обучения.

Кроме того, Decision Transformer действует как многозадачный обучающийся, выполняя условную генерацию. Он не выдает единую политику, а скорее моделирует распределение политик. Построение графика среднего достигнутого возврата против целевого возврата позволяет наблюдать различные политики. В некоторых случаях Decision Transformer продемонстрировал способность к экстраполяции за пределы обучающего набора данных и моделированию политик с более высокими возвратами, чем те, что присутствуют в данных.