Deskripsi
Repositori GitHub ini, "handful-of-trials," menampung kode eksperimental untuk makalah penelitian "Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models." Proyek ini berfokus pada reinforcement learning (RL) berbasis model dan mengatasi tantangan umum di mana algoritma berbasis model, meskipun efisien dalam sampel, sering kali berkinerja lebih rendah daripada algoritma bebas model dalam kinerja asimtotik, terutama ketika menggunakan aproksimator fungsi berkapasitas tinggi seperti jaringan dalam.
Baca Selengkapnya
Inovasi inti yang disajikan adalah algoritma Probabilistic Ensembles with Trajectory Sampling (PETS). PETS menjembatani kesenjangan kinerja dengan menggunakan model dinamika yang sadar ketidakpastian. Ini mengintegrasikan model dinamika jaringan dalam yang sadar akan ketidakpastiannya sendiri dengan teknik propagasi ketidakpastian berbasis sampel yang canggih. Pendekatan ini memungkinkan model untuk belajar secara efektif dari data terbatas, faktor penting dalam banyak aplikasi RL dunia nyata di mana pengumpulan data mahal atau memakan waktu.
Repositori menyediakan kode yang diperlukan untuk mereproduksi eksperimen yang dijelaskan dalam makalah. Ini termasuk skrip untuk menjalankan eksperimen pada berbagai tugas benchmark, seperti cartpole, reacher, pusher, dan halfcheetah. Pengguna dapat mengonfigurasi eksperimen dengan menentukan nama lingkungan, argumen pengontrol (misalnya, jenis model, metode propagasi, optimizer), dan penggantian parameter. Kode ini juga menyertakan utilitas untuk memvisualisasikan rollout dan menganalisis hasil, dengan data percobaan dicatat dalam format terstruktur.
Untuk memfasilitasi kemudahan penggunaan, repositori menawarkan Dockerfile untuk membuat lingkungan mandiri, termasuk dependensi yang diperlukan seperti MuJoCo. Gambar Docker yang sudah dibuat sebelumnya juga tersedia. Proyek ini ditulis terutama dalam Python, dengan sebagian besar kode didedikasikan untuk implementasi algoritma PETS dan komponen terkaitnya, seperti ensemble probabilistik dan metode pengambilan sampel lintasan. Penelitian ini bertujuan untuk menunjukkan bahwa RL berbasis model dapat mencapai kinerja asimtotik mutakhir sambil membutuhkan sampel yang jauh lebih sedikit daripada metode bebas model terkemuka.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformLinux
Fitur Inti Handful of Trials
Implementasi algoritma PETS untuk deep reinforcement learning.
Memanfaatkan model dinamika jaringan dalam yang sadar ketidakpastian.
Menggunakan propagasi ketidakpastian berbasis sampel untuk pembelajaran yang efisien.
Kode untuk mereproduksi eksperimen pada tugas RL benchmark.
Termasuk skrip untuk menjalankan dan mengonfigurasi eksperimen.
Menyediakan alat visualisasi untuk rollout.
Menawarkan Dockerfile dan gambar yang sudah dibuat sebelumnya untuk penyiapan lingkungan.
Mendukung berbagai konfigurasi pengontrol termasuk jenis model, propagasi, dan metode optimasi.
Memulai dengan Handful of Trials
Klon repositori: Dapatkan kode dari repositori GitHub.
Siapkan lingkungan: Instal dependensi menggunakan `requirements.txt` atau gunakan Dockerfile/gambar yang disediakan.
Konfigurasi eksperimen: Tentukan lingkungan, argumen pengontrol, dan penggantian sesuai kebutuhan.
Jalankan eksperimen: Eksekusi eksperimen menggunakan `python scripts/mbexp.py` dengan parameter yang diinginkan.
Analisis hasil: Periksa data yang dicatat di `logs.mat` untuk observasi, tindakan, imbalan, dan pengembalian.
Visualisasikan rollout: Gunakan `python scripts/render.py` untuk memvisualisasikan kinerja model yang terlatih.
Kasus Penggunaan Handful of Trials
- RL Efisien Sampel
- Penelitian RL Berbasis Model
- Kontrol Robotika
- Tugas RL Benchmark
- Kuantifikasi Ketidakpastian dalam RL
- Deep Learning untuk Pemodelan Dinamika
