설명
이 GitHub 리포지토리인 "handful-of-trials"는 "Probabilistic Dynamics Models를 사용한 소수의 시도로 심층 강화 학습" 연구 논문의 실험 코드를 호스팅합니다. 이 프로젝트는 모델 기반 강화 학습(RL)에 중점을 두고 있으며, 모델 기반 알고리즘이 샘플 효율성에도 불구하고 종종 모델 프리 알고리즘보다 점근 성능이 떨어지는 일반적인 문제를 해결합니다. 특히 심층 신경망과 같은 고용량 함수 근사기를 사용할 때 그렇습니다.
더 읽기
제시된 핵심 혁신은 PETS(Probabilistic Ensembles with Trajectory Sampling) 알고리즘입니다. PETS는 불확실성을 인지하는 동역학 모델을 사용하여 성능 격차를 해소합니다. 자체 불확실성을 인지하는 심층 신경망 동역학 모델과 정교한 샘플링 기반 불확실성 전파 기술을 통합합니다. 이 접근 방식을 통해 모델은 제한된 데이터에서 효과적으로 학습할 수 있으며, 이는 데이터 수집이 비싸거나 시간이 많이 소요되는 많은 실제 RL 애플리케이션에서 중요한 요소입니다.
이 리포지토리에는 논문에 설명된 실험을 재현하는 데 필요한 코드가 제공됩니다. 카트폴, 리처, 푸셔, 하프치타와 같은 다양한 벤치마크 작업에 대한 실험 실행 스크립트가 포함되어 있습니다. 사용자는 환경 이름, 컨트롤러 인수(예: 모델 유형, 전파 방법, 옵티마이저) 및 매개변수 재정의를 지정하여 실험을 구성할 수 있습니다. 이 코드는 또한 롤아웃 시각화 및 결과 분석을 위한 유틸리티를 포함하며, 시도 데이터는 구조화된 형식으로 기록됩니다.
사용 편의성을 위해 리포지토리에는 MuJoCo와 같은 필요한 종속성을 포함하여 자체 포함 환경을 생성하기 위한 Dockerfile이 제공됩니다. 사전 빌드된 Docker 이미지도 사용할 수 있습니다. 이 프로젝트는 주로 Python으로 작성되었으며, 코드의 상당 부분이 PETS 알고리즘 및 확률적 앙상블 및 궤적 샘플링 방법과 같은 관련 구성 요소의 구현에 전념하고 있습니다. 이 연구는 모델 기반 RL이 최첨단 점근 성능을 달성하면서 선도적인 모델 프리 방법보다 훨씬 적은 샘플을 필요로 함을 입증하는 것을 목표로 합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼Linux
Handful of Trials의 핵심 기능
심층 강화 학습을 위한 PETS 알고리즘 구현.
불확실성을 인지하는 심층 신경망 동역학 모델 활용.
효율적인 학습을 위한 샘플링 기반 불확실성 전파 사용.
벤치마크 RL 작업에 대한 실험 재현 코드.
실험 실행 및 구성을 위한 스크립트 포함.
롤아웃 시각화 도구 제공.
환경 설정을 위한 Dockerfile 및 사전 빌드 이미지 제공.
모델 유형, 전파 및 최적화 방법을 포함한 다양한 컨트롤러 구성 지원.
Handful of Trials 시작하기
리포지토리 복제: GitHub 리포지토리에서 코드 가져오기.
환경 설정: `requirements.txt`를 사용하여 종속성 설치 또는 제공된 Dockerfile/이미지 사용.
실험 구성: 필요한 대로 환경, 컨트롤러 인수 및 재정의 지정.
실험 실행: 원하는 매개변수로 `python scripts/mbexp.py`를 사용하여 실험 실행.
결과 분석: 관찰, 행동, 보상 및 반환에 대한 `logs.mat`의 기록된 데이터 검토.
롤아웃 시각화: 훈련된 모델 성능을 시각화하기 위해 `python scripts/render.py` 사용.
Handful of Trials의 사용 사례
- 샘플 효율적인 RL
- 모델 기반 RL 연구
- 로봇 제어
- 벤치마크 RL 작업
- RL의 불확실성 정량화
- 동역학 모델링을 위한 딥러닝
