Descrição
O repositório GitHub MBPO (Model-Based Policy Optimization) serve como a liberação oficial do código para o artigo de pesquisa intitulado "When to Trust Your Model: Model-Based Policy Optimization". Este projeto oferece uma implementação abrangente de algoritmos de aprendizado por reforço baseados em modelo, focando especificamente na otimização de políticas através do uso de modelos aprendidos do ambiente. Pesquisadores e profissionais podem utilizar esta base de código para replicar os resultados experimentais apresentados no artigo, promovendo transparência e reprodutibilidade no campo da inteligência artificial e aprendizado de máquina.
Ler mais
O repositório inclui instruções detalhadas para instalação, que envolvem a configuração do MuJoCo, clonagem do repositório e criação de um ambiente conda dedicado com as dependências necessárias. Os usuários podem então executar experimentos usando os arquivos de configuração fornecidos, com suporte para execução local e aceleração por GPU. A base de código é estruturada para facilitar modificações e extensões, permitindo que os usuários a adaptem para novos ambientes ou variações algorítmicas.
As principais funcionalidades incluem a capacidade de definir e treinar modelos de ambiente, usar esses modelos para otimização de política e registrar execuções de experimentos usando a ferramenta de visualização Viskit integrada. O projeto também detalha como configurar hiperparâmetros, como o cronograma de comprimento de rollout, e oferece opções para ajustar a frequência de treinamento e os tempos limite de treinamento do modelo para ajuste de desempenho. Os autores reconhecem as contribuições das bases de código softlearning e PETS, destacando a natureza colaborativa da pesquisa em IA.
Este recurso é particularmente valioso para pesquisadores em aprendizado por reforço, engenheiros de aprendizado de máquina e estudantes de pós-graduação que buscam aprofundar sua compreensão de abordagens baseadas em modelo. Ao fornecer acesso direto à implementação, o repositório MBPO capacita a comunidade a experimentar técnicas avançadas de RL, explorar novas direções de pesquisa e contribuir para o avanço de sistemas inteligentes.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Recursos principais de Model-Based Policy Optimization
Código para o artigo "When to Trust Your Model: Model-Based Policy Optimization"
Implementação de algoritmos de Otimização de Política Baseada em Modelo (MBPO)
Capacidades de aprendizado de modelo de ambiente e otimização de política
Reprodutibilidade de experimentos de pesquisa
Suporte para ambientes MuJoCo
Integração com Viskit para registro e visualização
Cronogramas configuráveis de comprimento de rollout
Opções para frequência de treinamento do modelo e tempos limite
Base de código extensível para novos ambientes e modificações
Dependências gerenciadas via arquivo de ambiente conda
Arquivos de configuração de exemplo para execução de experimentos
Instruções claras de instalação e uso
Primeiros passos com Model-Based Policy Optimization
Instalar MuJoCo: Configure o MuJoCo 1.50 em ~/.mujoco/mjpro150 e coloque sua chave de licença em ~/.mujoco/mjkey.txt.
Clonar Repositório: Obtenha o código executando 'git clone --recursive https://github.com/jannerm/mbpo.git'.
Criar Ambiente: Configure um ambiente conda usando 'environment/gpu-env.yml' e ative-o.
Instalar Dependências: Instale o projeto e suas dependências usando 'pip install -e viskit' e 'pip install -e .'.
Configurar Experimentos: Modifique ou selecione arquivos de configuração de 'examples/config/' para as configurações desejadas.
Executar Experimentos: Execute experimentos localmente usando comandos como 'mbpo run_local examples.development --config=examples.config.halfcheetah.0 --gpus=1 --trial-gpus=1'.
Visualizar Resultados: Visualize execuções salvas usando Viskit executando 'viskit ~/ray_mbpo --port 6008' (ajuste log_dir se necessário).
Casos de uso de Model-Based Policy Optimization
- Pesquisa em Aprendizado por Reforço
- Desenvolvimento de Algoritmos
- Simulação Robótica
- Sistemas Autônomos
- Ajuste de Hiperparâmetros
- Modelagem de Ambiente
