Deskripsi
Repositori GitHub MBPO (Model-Based Policy Optimization) berfungsi sebagai rilis kode resmi untuk makalah penelitian berjudul "When to Trust Your Model: Model-Based Policy Optimization." Proyek ini menawarkan implementasi komprehensif dari algoritma pembelajaran penguatan berbasis model, yang secara khusus berfokus pada optimasi kebijakan dengan memanfaatkan model lingkungan yang dipelajari. Peneliti dan praktisi dapat menggunakan basis kode ini untuk mereplikasi hasil eksperimental yang disajikan dalam makalah, mendorong transparansi dan reproduktibilitas di bidang kecerdasan buatan dan pembelajaran mesin.
Baca Selengkapnya
Repositori ini mencakup instruksi terperinci untuk instalasi, yang melibatkan penyiapan MuJoCo, mengkloning repositori, dan membuat lingkungan conda khusus dengan dependensi yang diperlukan. Pengguna kemudian dapat menjalankan eksperimen menggunakan file konfigurasi yang disediakan, dengan dukungan untuk eksekusi lokal dan akselerasi GPU. Basis kode disusun untuk memfasilitasi modifikasi dan perluasan yang mudah, memungkinkan pengguna untuk mengadaptasinya untuk lingkungan baru atau variasi algoritmik.
Fungsi utama meliputi kemampuan untuk mendefinisikan dan melatih model lingkungan, menggunakan model ini untuk optimasi kebijakan, dan mencatat eksekusi eksperimental menggunakan alat visualisasi Viskit yang terintegrasi. Proyek ini juga merinci cara mengonfigurasi hyperparameter, seperti jadwal panjang rollout, dan menawarkan opsi untuk menyesuaikan frekuensi pelatihan dan batas waktu pelatihan model untuk penyetelan kinerja. Para penulis mengakui kontribusi dari basis kode softlearning dan PETS, menyoroti sifat kolaboratif penelitian AI.
Sumber daya ini sangat berharga bagi peneliti dalam pembelajaran penguatan, insinyur pembelajaran mesin, dan mahasiswa pascasarjana yang ingin memperdalam pemahaman mereka tentang pendekatan berbasis model. Dengan menyediakan akses langsung ke implementasi, repositori MBPO memberdayakan komunitas untuk bereksperimen dengan teknik RL lanjutan, mengeksplorasi arah penelitian baru, dan berkontribusi pada kemajuan sistem cerdas.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti Model-Based Policy Optimization
Kode untuk makalah "When to Trust Your Model: Model-Based Policy Optimization"
Implementasi algoritma Model-Based Policy Optimization (MBPO)
Kemampuan pembelajaran model lingkungan dan optimasi kebijakan
Reproduktibilitas eksperimen penelitian
Dukungan untuk lingkungan MuJoCo
Integrasi dengan Viskit untuk pencatatan dan visualisasi
Jadwal panjang rollout yang dapat dikonfigurasi
Opsi untuk frekuensi pelatihan model dan batas waktu
Basis kode yang dapat diperluas untuk lingkungan dan modifikasi baru
Dependensi dikelola melalui file lingkungan conda
Contoh file konfigurasi untuk menjalankan eksperimen
Instruksi instalasi dan penggunaan yang jelas
Memulai dengan Model-Based Policy Optimization
Instal MuJoCo: Siapkan MuJoCo 1.50 di ~/.mujoco/mjpro150 dan letakkan kunci lisensi Anda di ~/.mujoco/mjkey.txt.
Kloning Repositori: Dapatkan kode dengan menjalankan 'git clone --recursive https://github.com/jannerm/mbpo.git'.
Buat Lingkungan: Siapkan lingkungan conda menggunakan 'environment/gpu-env.yml' dan aktifkan.
Instal Dependensi: Instal proyek dan dependensinya menggunakan 'pip install -e viskit' dan 'pip install -e .'.
Konfigurasi Eksperimen: Modifikasi atau pilih file konfigurasi dari 'examples/config/' untuk pengaturan yang diinginkan.
Jalankan Eksperimen: Eksekusi eksperimen secara lokal menggunakan perintah seperti 'mbpo run_local examples.development --config=examples.config.halfcheetah.0 --gpus=1 --trial-gpus=1'.
Visualisasikan Hasil: Lihat eksekusi yang disimpan menggunakan Viskit dengan menjalankan 'viskit ~/ray_mbpo --port 6008' (sesuaikan log_dir jika perlu).
Kasus Penggunaan Model-Based Policy Optimization
- Penelitian Pembelajaran Penguatan
- Pengembangan Algoritma
- Simulasi Robotika
- Sistem Otonom
- Penyetelan Hyperparameter
- Pemodelan Lingkungan
