Descripción
Este repositorio de GitHub, "handful-of-trials", alberga el código experimental para el artículo de investigación "Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models". El proyecto se centra en el aprendizaje por refuerzo basado en modelos (RL) y aborda el desafío común donde los algoritmos basados en modelos, a pesar de su eficiencia de muestras, a menudo tienen un rendimiento inferior a los algoritmos sin modelo en el rendimiento asintótico, particularmente cuando se utilizan aproximadores de función de alta capacidad como las redes profundas.
Leer más
La innovación central presentada es el algoritmo Probabilistic Ensembles with Trajectory Sampling (PETS). PETS cierra la brecha de rendimiento empleando modelos de dinámica conscientes de la incertidumbre. Integra modelos de dinámica de redes profundas que son conscientes de sus propias incertidumbres con sofisticadas técnicas de propagación de incertidumbre basadas en muestreo. Este enfoque permite que el modelo aprenda de manera efectiva a partir de datos limitados, un factor crítico en muchas aplicaciones de RL del mundo real donde la recopilación de datos es costosa o requiere mucho tiempo.
El repositorio proporciona el código necesario para reproducir los experimentos descritos en el artículo. Incluye scripts para ejecutar experimentos en varias tareas de referencia, como cartpole, reacher, pusher y halfcheetah. Los usuarios pueden configurar experimentos especificando nombres de entorno, argumentos del controlador (por ejemplo, tipo de modelo, método de propagación, optimizador) y anulaciones de parámetros. El código también incluye utilidades para visualizar ejecuciones y analizar resultados, con datos de prueba registrados en un formato estructurado.
Para facilitar su uso, el repositorio ofrece un Dockerfile para crear un entorno autocontenido, incluidas las dependencias necesarias como MuJoCo. También hay disponible una imagen Docker precompilada. El proyecto está escrito principalmente en Python, con una parte significativa del código dedicada a la implementación del algoritmo PETS y sus componentes asociados, como los conjuntos probabilísticos y los métodos de muestreo de trayectorias. La investigación tiene como objetivo demostrar que el RL basado en modelos puede lograr un rendimiento asintótico de vanguardia al tiempo que requiere sustancialmente menos muestras que los métodos sin modelo líderes.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube, Autoalojado
- PlataformasLinux
Características principales de Handful of Trials
Implementación del algoritmo PETS para aprendizaje por refuerzo profundo.
Utiliza modelos de dinámica de redes profundas conscientes de la incertidumbre.
Emplea propagación de incertidumbre basada en muestreo para un aprendizaje eficiente.
Código para reproducir experimentos en tareas de RL de referencia.
Incluye scripts para ejecutar y configurar experimentos.
Proporciona herramientas de visualización para ejecuciones.
Ofrece un Dockerfile e imagen precompilada para la configuración del entorno.
Soporta varias configuraciones de controlador, incluyendo tipo de modelo, propagación y métodos de optimización.
Primeros pasos con Handful of Trials
Clonar el repositorio: Obtenga el código del repositorio de GitHub.
Configurar el entorno: Instale las dependencias usando `requirements.txt` o utilice el Dockerfile/imagen proporcionado.
Configurar experimentos: Especifique el entorno, los argumentos del controlador y las anulaciones según sea necesario.
Ejecutar experimentos: Ejecute experimentos usando `python scripts/mbexp.py` con los parámetros deseados.
Analizar resultados: Examine los datos registrados en `logs.mat` para obtener observaciones, acciones, recompensas y retornos.
Visualizar ejecuciones: Use `python scripts/render.py` para visualizar el rendimiento del modelo entrenado.
Casos de uso de Handful of Trials
- RL Eficiente en Muestras
- Investigación de RL Basado en Modelos
- Control Robótico
- Tareas de Referencia de RL
- Cuantificación de Incertidumbre en RL
- Aprendizaje Profundo para Modelado de Dinámica
