설명
Decision Transformer는 강화 학습(RL)을 시퀀스 모델링 문제로 추상화하는 새로운 접근 방식을 제시합니다. 이를 통해 언어 모델링에 일반적으로 사용되는 GPT-x 및 BERT와 같은 Transformer 아키텍처의 강력함과 확장성을 활용할 수 있습니다. 핵심 혁신은 전통적인 가치 함수 적합 또는 정책 기울기 계산에서 벗어나 RL을 조건부 시퀀스 모델링으로 전환하는 데 있습니다.
더 읽기
Decision Transformer라는 이름의 이 프레임워크는 인과적으로 마스크된 Transformer를 사용하여 최적의 행동을 직접 출력합니다. 자기회귀 모델을 원하는 반환값(보상)과 과거 상태 및 행동에 대해 조건화함으로써 Decision Transformer는 특정 반환값을 달성하도록 설계된 미래 행동을 생성할 수 있습니다. 이러한 단순성 덕분에 구현 및 평가가 용이합니다.
실제로 Decision Transformer는 RL 궤적을 시퀀스로 취급합니다. 반환값, 상태 또는 행동과 같은 각 모달리티는 임베딩 네트워크를 통해 처리됩니다. 이러한 임베딩은 이후 후속 행동을 예측하도록 훈련된 자기회귀 Transformer 모델에 공급됩니다. 평가는 목표 반환값과 시작 상태로 모델을 초기화한 다음, 시퀀스를 전개하여 환경에서 실행할 행동을 생성하는 방식으로 이루어지며, 이는 언어 모델에서의 표준 자기회귀 생성과 유사합니다.
시연된 주요 기능 중 하나는 테스트 시 최적 경로를 생성하기 위해 서로 다른 훈련 궤적의 하위 시퀀스를 '이어 붙이는' 능력입니다. 예를 들어, 그래프 문제에서 무작위 워크로 훈련된 경우 Decision Transformer는 명시적인 TD 학습이나 가치 비관주의 없이 높은 반환값에 대한 조건화를 통해 최적 경로를 생성할 수 있습니다. 이러한 동작은 오프 정책 Q-러닝 알고리즘과 유사하지만 시퀀스 모델링 패러다임을 통해 달성됩니다.
Decision Transformer는 Atari Learning Environment, OpenAI Gym 및 Minigrid Key-To-Door 작업과 같은 표준 오프라인 RL 벤치마크에서 평가되었습니다. 이산 및 연속 제어, 이미지 및 상태 관찰을 포함하는 이러한 다양한 작업 전반에 걸쳐 Decision Transformer는 전문 TD 학습 알고리즘과 유사한 성능을 보여주었습니다.
또한 Decision Transformer는 조건부 생성을 수행함으로써 다중 작업 학습자 역할을 합니다. 단일 정책을 생성하는 것이 아니라 정책 분포를 모델링합니다. 평균 달성 반환값과 목표 반환값을 플로팅함으로써 별도의 정책을 관찰할 수 있습니다. 일부 경우 Decision Transformer는 훈련 데이터셋을 넘어서 외삽하고 데이터에 존재하지 않는 더 높은 반환값을 가진 정책을 모델링하는 능력을 보여주었습니다.
- 카테고리AI 모델 및 LLM
- 배포클라우드
- 플랫폼웹
Decision Transformer 하이라이트
강화 학습을 시퀀스 모델링으로
Transformer 아키텍처 통합
조건부 시퀀스 모델링
자기회귀 행동 생성
원하는 반환값 조건화
오프라인 강화 학습
모델 프리 접근 방식
최첨단 성능
교차 작업 적용 가능성 (Atari, OpenAI Gym, Key-to-Door)
최적 궤적을 위한 하위 시퀀스 이어 붙이기
훈련 데이터 너머의 외삽
다중 작업 학습 능력
Decision Transformer 시작하기
모델 액세스: Decision Transformer 모델에 액세스합니다.
환경 설정: 상호 작용을 위한 RL 환경을 구성합니다.
API를 통한 통합: RL 파이프라인 내에 Decision Transformer를 구현합니다.
목표 반환값 정의: 정책에 대한 원하는 보상 수준을 지정합니다.
과거 데이터 입력: 과거 상태 및 행동을 조건부 입력으로 제공합니다.
행동 생성: 모델이 실행할 행동 시퀀스를 출력합니다.
성능 평가: 목표 대비 달성된 반환값을 측정합니다.
Decision Transformer의 사용 사례
- 오프라인 RL 훈련
- 시퀀스 기반 의사 결정
- 목표 조건부 정책
- 궤적 최적화
- 로봇 제어
- 게임 AI 개발
