Description
Ce dépôt GitHub, "handful-of-trials", héberge le code expérimental de l'article de recherche "Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models". Le projet se concentre sur l'apprentissage par renforcement basé sur modèle (RL) et aborde le défi courant où les algorithmes basés sur modèle, malgré leur efficacité en termes d'échantillons, sous-performent souvent les algorithmes sans modèle en termes de performance asymptotique, en particulier lorsqu'ils utilisent des approximateurs de fonction de haute capacité comme les réseaux profonds.
Lire la suite
L'innovation principale présentée est l'algorithme Probabilistic Ensembles with Trajectory Sampling (PETS). PETS comble l'écart de performance en utilisant des modèles de dynamique probabilistes conscients de l'incertitude. Il intègre des modèles de dynamique neuronale profonde qui sont conscients de leurs propres incertitudes avec des techniques sophistiquées de propagation d'incertitude basées sur l'échantillonnage. Cette approche permet au modèle d'apprendre efficacement à partir de données limitées, un facteur critique dans de nombreuses applications RL du monde réel où la collecte de données est coûteuse ou prend du temps.
Le dépôt fournit le code nécessaire pour reproduire les expériences décrites dans l'article. Il comprend des scripts pour exécuter des expériences sur diverses tâches de référence, telles que cartpole, reacher, pusher et halfcheetah. Les utilisateurs peuvent configurer les expériences en spécifiant les noms d'environnement, les arguments du contrôleur (par exemple, type de modèle, méthode de propagation, optimiseur) et les remplacements de paramètres. Le code comprend également des utilitaires pour visualiser les déroulements et analyser les résultats, avec les données d'essai enregistrées dans un format structuré.
Pour faciliter l'utilisation, le dépôt propose un Dockerfile pour créer un environnement autonome, incluant les dépendances nécessaires comme MuJoCo. Une image Docker pré-construite est également disponible. Le projet est principalement écrit en Python, avec une partie importante du code dédiée à l'implémentation de l'algorithme PETS et de ses composants associés, tels que les ensembles probabilistes et les méthodes d'échantillonnage de trajectoire. La recherche vise à démontrer que le RL basé sur modèle peut atteindre des performances asymptotiques de pointe tout en nécessitant considérablement moins d'échantillons que les méthodes sans modèle de premier plan.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesLinux
Fonctionnalités principales de Handful of Trials
Implémentation de l'algorithme PETS pour l'apprentissage par renforcement profond.
Utilise des modèles de dynamique neuronale profonde conscients de l'incertitude.
Emploie la propagation d'incertitude basée sur l'échantillonnage pour un apprentissage efficace.
Code pour reproduire les expériences sur des tâches RL de référence.
Inclut des scripts pour exécuter et configurer des expériences.
Fournit des outils de visualisation pour les déroulements.
Offre un Dockerfile et une image pré-construite pour la configuration de l'environnement.
Prend en charge diverses configurations de contrôleur, y compris le type de modèle, la propagation et les méthodes d'optimisation.
Premiers pas avec Handful of Trials
Cloner le dépôt : Obtenez le code du dépôt GitHub.
Configurer l'environnement : Installez les dépendances en utilisant `requirements.txt` ou utilisez le Dockerfile/image fourni.
Configurer les expériences : Spécifiez l'environnement, les arguments du contrôleur et les remplacements selon les besoins.
Exécuter les expériences : Exécutez les expériences en utilisant `python scripts/mbexp.py` avec les paramètres souhaités.
Analyser les résultats : Examinez les données enregistrées dans `logs.mat` pour les observations, actions, récompenses et rendements.
Visualiser les déroulements : Utilisez `python scripts/render.py` pour visualiser les performances du modèle entraîné.
Cas d'utilisation de Handful of Trials
- RL Efficace en Échantillons
- Recherche en RL Basé sur Modèle
- Contrôle Robotique
- Tâches RL de Référence
- Quantification de l'Incertitude en RL
- Apprentissage Profond pour la Modélisation de Dynamique
