Описание
Этот репозиторий GitHub «handful-of-trials» содержит экспериментальный код для исследовательской статьи «Глубокое обучение с подкреплением за небольшое количество попыток с использованием вероятностных моделей динамики». Проект фокусируется на обучении с подкреплением на основе модели (RL) и решает распространенную проблему, когда алгоритмы на основе моделей, несмотря на их эффективность в плане выборки, часто уступают алгоритмам, не основанным на моделях, в асимптотической производительности, особенно при использовании аппроксиматоров функций высокой емкости, таких как глубокие сети.
Читать далее
Основным представленным нововведением является алгоритм Probabilistic Ensembles with Trajectory Sampling (PETS). PETS устраняет разрыв в производительности, используя модели динамики, учитывающие неопределенность. Он интегрирует модели динамики глубоких сетей, которые осведомлены о собственной неопределенности, с усовершенствованными методами распространения неопределенности на основе выборки. Этот подход позволяет модели эффективно обучаться на ограниченных данных, что является критически важным фактором во многих реальных приложениях RL, где сбор данных дорог или занимает много времени.
Репозиторий предоставляет необходимый код для воспроизведения экспериментов, описанных в статье. Он включает скрипты для запуска экспериментов на различных эталонных задачах, таких как cartpole, reacher, pusher и halfcheetah. Пользователи могут настраивать эксперименты, указывая имена сред, аргументы контроллера (например, тип модели, метод распространения, оптимизатор) и переопределения параметров. Код также включает утилиты для визуализации прогонов и анализа результатов, при этом данные испытаний регистрируются в структурированном формате.
Для облегчения использования репозиторий предлагает Dockerfile для создания автономной среды, включая необходимые зависимости, такие как MuJoCo. Также доступен предварительно собранный образ Docker. Проект написан в основном на Python, при этом значительная часть кода посвящена реализации алгоритма PETS и его связанных компонентов, таких как вероятностные ансамбли и методы выборки траекторий. Исследование направлено на демонстрацию того, что RL на основе моделей может достичь асимптотической производительности на уровне современных методов, требуя при этом значительно меньше выборок, чем ведущие методы, не основанные на моделях.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыLinux
Основные функции Handful of Trials
Реализация алгоритма PETS для глубокого обучения с подкреплением.
Использует модели динамики глубоких сетей, учитывающие неопределенность.
Применяет распространение неопределенности на основе выборки для эффективного обучения.
Код для воспроизведения экспериментов на эталонных задачах RL.
Включает скрипты для запуска и настройки экспериментов.
Предоставляет инструменты визуализации прогонов.
Предлагает Dockerfile и предварительно собранный образ для настройки среды.
Поддерживает различные конфигурации контроллера, включая тип модели, распространение и методы оптимизации.
Начало работы с Handful of Trials
Клонировать репозиторий: Получите код из репозитория GitHub.
Настроить среду: Установите зависимости, используя `requirements.txt`, или используйте предоставленный Dockerfile/образ.
Настроить эксперименты: Укажите среду, аргументы контроллера и переопределения по мере необходимости.
Запустить эксперименты: Выполните эксперименты с помощью `python scripts/mbexp.py` с желаемыми параметрами.
Анализировать результаты: Изучите зарегистрированные данные в `logs.mat` для наблюдений, действий, вознаграждений и возвратов.
Визуализировать прогоны: Используйте `python scripts/render.py` для визуализации производительности обученной модели.
Варианты использования Handful of Trials
- Эффективное обучение RL на основе выборки
- Исследования RL на основе моделей
- Управление робототехникой
- Эталонные задачи RL
- Квантификация неопределенности в RL
- Глубокое обучение для моделирования динамики
