Descrição
Este repositório do GitHub, "handful-of-trials", hospeda o código experimental para o artigo de pesquisa "Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models." O projeto foca em aprendizado por reforço baseado em modelo (RL) e aborda o desafio comum onde algoritmos baseados em modelo, apesar de sua eficiência de amostra, frequentemente têm desempenho inferior a algoritmos model-free em desempenho assintótico, especialmente ao usar aproximadores de função de alta capacidade como redes profundas.
Ler mais
A inovação central apresentada é o algoritmo Probabilistic Ensembles with Trajectory Sampling (PETS). O PETS preenche a lacuna de desempenho empregando modelos de dinâmica cientes de incerteza. Ele integra modelos de dinâmica de rede profunda que estão cientes de suas próprias incertezas com técnicas sofisticadas de propagação de incerteza baseada em amostragem. Essa abordagem permite que o modelo aprenda efetivamente com dados limitados, um fator crítico em muitas aplicações de RL do mundo real onde a coleta de dados é cara ou demorada.
O repositório fornece o código necessário para reproduzir os experimentos descritos no artigo. Ele inclui scripts para executar experimentos em várias tarefas de benchmark, como cartpole, reacher, pusher e halfcheetah. Os usuários podem configurar experimentos especificando nomes de ambiente, argumentos do controlador (por exemplo, tipo de modelo, método de propagação, otimizador) e substituições de parâmetros. O código também inclui utilitários para visualização de rollouts e análise de resultados, com dados de teste registrados em um formato estruturado.
Para facilitar o uso, o repositório oferece um Dockerfile para criar um ambiente autônomo, incluindo dependências necessárias como MuJoCo. Uma imagem Docker pré-construída também está disponível. O projeto é escrito principalmente em Python, com uma parte significativa do código dedicada à implementação do algoritmo PETS e seus componentes associados, como ensembles probabilísticos e métodos de amostragem de trajetória. A pesquisa visa demonstrar que o RL baseado em modelo pode alcançar desempenho assintótico de ponta, exigindo substancialmente menos amostras do que os métodos model-free líderes.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasLinux
Recursos principais de Handful of Trials
Implementação do algoritmo PETS para aprendizado por reforço profundo.
Utiliza modelos de dinâmica de rede profunda cientes de incerteza.
Emprega propagação de incerteza baseada em amostragem para aprendizado eficiente.
Código para reproduzir experimentos em tarefas de RL de benchmark.
Inclui scripts para executar e configurar experimentos.
Fornece ferramentas de visualização para rollouts.
Oferece um Dockerfile e imagem pré-construída para configuração do ambiente.
Suporta várias configurações de controlador, incluindo tipo de modelo, propagação e métodos de otimização.
Primeiros passos com Handful of Trials
Clonar o repositório: Obtenha o código do repositório GitHub.
Configurar o ambiente: Instale as dependências usando `requirements.txt` ou use o Dockerfile/imagem fornecido.
Configurar experimentos: Especifique o ambiente, argumentos do controlador e substituições conforme necessário.
Executar experimentos: Execute experimentos usando `python scripts/mbexp.py` com os parâmetros desejados.
Analisar resultados: Examine os dados registrados em `logs.mat` para observações, ações, recompensas e retornos.
Visualizar rollouts: Use `python scripts/render.py` para visualizar o desempenho do modelo treinado.
Casos de uso de Handful of Trials
- RL Eficiente em Amostra
- Pesquisa em RL Baseado em Modelo
- Controle Robótico
- Tarefas de RL de Benchmark
- Quantificação de Incerteza em RL
- Deep Learning para Modelagem de Dinâmica
