Описание
OpenManus-RL — это совместная инициатива с открытым исходным кодом от Ulab-UIUC и MetaGPT, расширяющая оригинальный проект OpenManus. Вдохновленный успешной настройкой RL для LLM-рассуждений, таких как Deepseek-R1 и QwQ-32B, этот проект исследует новые парадигмы для настройки LLM-агентов на основе RL. Прогресс, включая тщательное тестирование на таких бенчмарках, как GAIA, AgentBench, WebShop и OSWorld, а также настроенные модели, динамически транслируется в прямом эфире.
Читать далее
Проект интегрирует передовые методы обучения с подкреплением (RL) для улучшения возможностей рассуждений и принятия решений LLM. Он черпает вдохновение из существующих фреймворков и исследует новые алгоритмические структуры, разнообразные парадигмы рассуждений, сложные стратегии вознаграждения и обширные среды бенчмарков. Ключевые компоненты включают исследование различных моделей рассуждений (GPT-O1, Deepseek-R1, QwQ-32B), эксперименты с альтернативными стратегиями развертывания, такими как Tree-of-Thoughts (ToT) и Monte Carlo Tree Search (MCTS), а также анализ различных форматов вывода рассуждений, таких как ReAct и Outcome-based Reasoning.
Исследуемые стратегии после обучения включают Supervised Fine-Tuning (SFT), Generalized Reward-based Policy Optimization (GRPO), Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO) и Preference-based Reward Modeling (PRM). Проект также фокусируется на обучении специализированных моделей вознаграждения агентов и реализации масштабирования траекторий во время тестирования для адаптивности. Интеграция с ведущими фреймворками настройки RL, в частности с подмодулем 'verl', обеспечивает расширенные возможности обучения для оптимизации агентов.
Набор данных OpenManus-RL объединяет траектории агентов из AgentInstruct, Agent-FLAN и AgentTraj-L, отличаясь фреймворком ReAct, структурированным обучением, методами борьбы с галлюцинациями и охватом шести доменов. Проект предоставляет упрощенную библиотеку для настройки SFT и GRPO, построенную на основе фреймворка 'verl'. Вклад сообщества всячески приветствуется для доработки кодовых баз, наборов данных, настройки сред и вычислительных ресурсов, при этом важные участники потенциально могут быть включены в список соавторов будущих публикаций.
OpenManus-RL стремится расширить границы рассуждений агентов и интеграции инструментов, способствуя развитию процветающей экосистемы агентов с открытым исходным кодом. Проект привержен постоянным обновлениям и приветствует сотрудничество разработчиков, заинтересованных в улучшении возможностей LLM-агентов.
- КатегорияКонструкторы AI-агентов
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции OpenManus-RL
Разработка RL-настройки для LLM-агентов в режиме реального времени
Исследование новых парадигм настройки LLM-агентов на основе RL
Тщательное тестирование на бенчмарках агентов (GAIA, AgentBench, WebShop, OSWorld)
Открытое предоставление прогресса, результатов и настроенных моделей
Интеграция передовых RL-алгоритмов и фреймворков (например, Verl)
Поддержка различных моделей рассуждений и стратегий развертывания (ToT, MCTS)
Реализация различных стратегий после обучения (SFT, GRPO, PPO, DPO)
Комплексный набор данных, объединяющий траектории агентов из нескольких источников
Приветствуется вклад сообщества в код, данные и ресурсы
Начало работы с OpenManus-RL
Клонирование репозитория: Клонируйте репозиторий OpenManus-RL, убедившись, что подмодули инициализированы и обновлены.
Настройка среды: Создайте и активируйте среду conda, затем установите необходимые зависимости, включая PyTorch и vllm.
Подготовка набора данных: Загрузите набор данных OpenManus-RL с Hugging Face.
Конфигурация среды: Настройте конкретные среды агентов, такие как WebShop или ALFWorld, согласно документации.
Выполнение обучения: Используйте предоставленные скрипты для обучения моделей агентов, например, ALFWorld RL Training (PPO).
Оптимизация: Тонко настройте параметры и изучите различные стратегии для оптимальной производительности агента.
Варианты использования OpenManus-RL
- Настройка LLM-агентов
- Исследования в области обучения с подкреплением
- Оценка на бенчмарках
- Сотрудничество с открытым исходным кодом
- Интеграция инструментов
- Улучшение возможностей рассуждений
