Descrição
OpenManus-RL é uma iniciativa colaborativa de código aberto pela Ulab-UIUC e MetaGPT, estendendo o projeto original OpenManus. Inspirado pelo ajuste de RL bem-sucedido para LLMs de raciocínio como Deepseek-R1 e QwQ-32B, este projeto explora novos paradigmas para o ajuste de agentes LLM baseado em RL. O progresso, incluindo testes rigorosos em benchmarks como GAIA, AgentBench, WebShop e OSWorld, juntamente com modelos ajustados, é compartilhado dinamicamente através de live streaming.
Ler mais
O projeto integra técnicas avançadas de aprendizado por reforço (RL) para aprimorar as capacidades de raciocínio e tomada de decisão dos LLMs. Ele se inspira em frameworks existentes e explora novas estruturas algorítmicas, diversos paradigmas de raciocínio, estratégias de recompensa sofisticadas e ambientes de benchmark extensos. Componentes chave incluem a exploração de vários modelos de raciocínio (GPT-O1, Deepseek-R1, QwQ-32B), experimentação com estratégias de rollout alternativas como Tree-of-Thoughts (ToT) e Monte Carlo Tree Search (MCTS), e análise de diferentes formatos de saída de raciocínio, como ReAct e Outcome-based Reasoning.
Estratégias pós-treinamento investigadas incluem Supervised Fine-Tuning (SFT), Generalized Reward-based Policy Optimization (GRPO), Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO) e Preference-based Reward Modeling (PRM). O projeto também se concentra no treinamento de modelos de recompensa de agentes especializados e na implementação de escalonamento de trajetória em tempo de teste para adaptabilidade. A integração com frameworks líderes de ajuste de RL, notavelmente o submódulo 'verl', fornece capacidades avançadas de treinamento para otimização de agentes.
O dataset OpenManus-RL combina trajetórias de agentes de AgentInstruct, Agent-FLAN e AgentTraj-L, apresentando um framework ReAct, treinamento estruturado, técnicas anti-alucinação e cobertura em seis domínios. O projeto fornece uma biblioteca simplificada para ajuste SFT e GRPO, construída sobre o framework 'verl'. Contribuições da comunidade são altamente encorajadas para bases de código de fine-tuning, datasets, configurações de ambiente e recursos computacionais, com contribuidores importantes potencialmente listados como coautores de artigos futuros.
OpenManus-RL visa expandir os limites do raciocínio de agentes e da integração de ferramentas, promovendo um ecossistema de agentes de código aberto próspero. O projeto está comprometido com atualizações contínuas e acolhe a colaboração de desenvolvedores interessados em avançar as capacidades de agentes LLM.
- CategoriaCriadores de agentes de IA
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de OpenManus-RL
Desenvolvimento em live-stream de ajuste de RL para agentes LLM
Exploração de novos paradigmas de ajuste de agentes LLM baseados em RL
Testes rigorosos em benchmarks de agentes (GAIA, AgentBench, WebShop, OSWorld)
Compartilhamento aberto de progresso, resultados e modelos ajustados
Integração de algoritmos e frameworks avançados de RL (ex: Verl)
Suporte a diversos modelos de raciocínio e estratégias de rollout (ToT, MCTS)
Implementação de várias estratégias pós-treinamento (SFT, GRPO, PPO, DPO)
Dataset abrangente combinando trajetórias de agentes de múltiplas fontes
Contribuições da comunidade bem-vindas para código, dados e recursos
Primeiros passos com OpenManus-RL
Clonar Repositório: Clone o repositório OpenManus-RL, garantindo que os submódulos sejam inicializados e atualizados.
Configuração do Ambiente: Crie e ative um ambiente conda, e então instale as dependências necessárias, incluindo PyTorch e vllm.
Preparação do Dataset: Baixe o dataset OpenManus-RL do Hugging Face.
Configuração do Ambiente: Configure ambientes de agente específicos como WebShop ou ALFWorld conforme a documentação.
Execução do Treinamento: Utilize os scripts fornecidos para treinar modelos de agente, por exemplo, ALFWorld RL Training (PPO).
Otimização: Ajuste os parâmetros e explore diferentes estratégias para desempenho ótimo do agente.
Casos de uso de OpenManus-RL
- Ajuste de Agentes LLM
- Pesquisa em Aprendizado por Reforço
- Avaliação de Benchmark
- Colaboração em Código Aberto
- Integração de Ferramentas
- Aprimoramento da Capacidade de Raciocínio
