설명
OpenManus-RL은 Ulab-UIUC와 MetaGPT가 진행하는 협력적인 오픈 소스 이니셔티브로, 기존 OpenManus 프로젝트를 확장합니다. Deepseek-R1 및 QwQ-32B와 같은 추론 LLM에 대한 성공적인 RL 튜닝에서 영감을 받아, 이 프로젝트는 RL 기반 LLM 에이전트 튜닝을 위한 새로운 패러다임을 탐구합니다. GAIA, AgentBench, WebShop, OSWorld와 같은 벤치마크에 대한 엄격한 테스트 결과와 튜닝된 모델을 포함한 진행 상황은 라이브 스트리밍을 통해 동적으로 공유됩니다.
더 읽기
이 프로젝트는 LLM의 추론 및 의사 결정 능력을 향상시키기 위해 고급 강화 학습(RL) 기술을 통합합니다. 기존 프레임워크에서 영감을 얻고 새로운 알고리즘 구조, 다양한 추론 패러다임, 정교한 보상 전략 및 광범위한 벤치마크 환경을 탐구합니다. 주요 구성 요소에는 다양한 추론 모델(GPT-O1, Deepseek-R1, QwQ-32B) 탐색, Tree-of-Thoughts(ToT) 및 Monte Carlo Tree Search(MCTS)와 같은 대안적인 롤아웃 전략 실험, ReAct 및 Outcome-based Reasoning과 같은 다양한 추론 출력 형식 분석이 포함됩니다.
훈련 후 전략에는 지도 학습 미세 조정(SFT), 일반화된 보상 기반 정책 최적화(GRPO), 근접 정책 최적화(PPO), 직접 선호도 최적화(DPO), 선호도 기반 보상 모델링(PRM)이 포함됩니다. 또한 이 프로젝트는 전문화된 에이전트 보상 모델을 훈련하고 적응성을 위한 테스트 시간 궤적 확장을 구현하는 데 중점을 둡니다. 선도적인 RL 튜닝 프레임워크, 특히 'verl' 서브모듈과의 통합은 에이전트 최적화를 위한 고급 훈련 기능을 제공합니다.
OpenManus-RL 데이터셋은 AgentInstruct, Agent-FLAN 및 AgentTraj-L의 에이전트 궤적을 결합하며, ReAct 프레임워크, 구조화된 훈련, 환각 방지 기술 및 6개 도메인에 걸친 커버리지를 특징으로 합니다. 이 프로젝트는 'verl' 프레임워크를 기반으로 하는 SFT 및 GRPO 튜닝을 위한 간소화된 라이브러리를 제공합니다. 미세 조정 코드베이스, 데이터셋, 환경 설정 및 컴퓨팅 리소스에 대한 커뮤니티 기여가 적극 권장되며, 중요한 기여자는 향후 논문의 공동 저자로 등재될 수 있습니다.
OpenManus-RL은 에이전트 추론 및 도구 통합의 경계를 넓히고 활발한 오픈 소스 에이전트 생태계를 육성하는 것을 목표로 합니다. 이 프로젝트는 지속적인 업데이트를 약속하며 LLM 에이전트 역량 발전에 관심 있는 개발자들의 협력을 환영합니다.
- 카테고리AI 에이전트 빌더
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
OpenManus-RL의 핵심 기능
LLM 에이전트의 RL 튜닝 라이브 스트림 개발
새로운 RL 기반 LLM 에이전트 튜닝 패러다임 탐색
에이전트 벤치마크(GAIA, AgentBench, WebShop, OSWorld)에 대한 엄격한 테스트
진행 상황, 결과 및 튜닝된 모델의 공개 공유
고급 RL 알고리즘 및 프레임워크(예: Verl) 통합
다양한 추론 모델 및 롤아웃 전략(ToT, MCTS) 지원
다양한 훈련 후 전략(SFT, GRPO, PPO, DPO) 구현
여러 소스의 에이전트 궤적을 결합한 포괄적인 데이터셋
코드, 데이터 및 리소스에 대한 커뮤니티 기여 환영
OpenManus-RL 시작하기
리포지토리 복제: OpenManus-RL 리포지토리를 복제하고 서브모듈이 초기화되고 업데이트되었는지 확인합니다.
환경 설정: conda 환경을 생성하고 활성화한 후 PyTorch 및 vllm을 포함한 필수 종속성을 설치합니다.
데이터셋 준비: Hugging Face에서 OpenManus-RL 데이터셋을 다운로드합니다.
환경 구성: 문서에 따라 WebShop 또는 ALFWorld와 같은 특정 에이전트 환경을 설정합니다.
훈련 실행: 예를 들어 ALFWorld RL 훈련(PPO)과 같은 에이전트 모델 훈련을 위한 제공된 스크립트를 사용합니다.
최적화: 최적의 에이전트 성능을 위해 매개변수를 미세 조정하고 다양한 전략을 탐색합니다.
OpenManus-RL의 사용 사례
- LLM 에이전트 튜닝
- 강화 학습 연구
- 벤치마크 평가
- 오픈 소스 협업
- 도구 통합
- 추론 능력 향상
