描述
强化学习(RL)代理在任务特定学习和样本效率方面常常面临挑战。Plan2Explore 通过引入一种新颖的自监督强化学习方法来解决这些限制。该代理旨在擅长探索并能快速适应新的、未见过且无先验知识的任务。
阅读更多
在其探索阶段,Plan2Explore 通过主动使用规划来发现新颖状态,从而区别于先前的方法。代理不是在到达观察后追溯评估观察的新颖性,而是策略性地寻找预期的未来新颖性。这种由规划驱动的探索可以实现更有效的数据收集和对环境更深入的理解。
在探索阶段之后,Plan2Explore 展现出卓越的适应性。它仅通过零次或几次任务特定的交互,就能快速微调以适应多种下游任务,例如站立、行走或奔跑。此功能显著减少了对大量任务特定训练数据和交互的需求,使其用途广泛。
该代理已在涉及高维图像输入的复杂控制任务上进行了严格评估。在这些评估中,Plan2Explore 即使在没有任何训练监督或任务特定奖励的情况下,其性能也优于现有的自监督探索方法。其性能非常接近拥有奖励访问权限的“神谕”代理,凸显了其有效性。
Plan2Explore 的架构允许它首先通过自监督探索学习一个全局世界模型,该模型独立于任何任务特定奖励。一旦建立了这个基础模型,代理就可以适应各种任务的不同奖励函数,展示了探索和利用学习的强大分离。
该项目提供了 Plan2Explore 在 Tensorflow 中的开源实现,可在 GitHub 上获取,鼓励在自监督强化学习领域进行进一步的研究和开发。此发布方便研究人员和从业人员轻松访问和构建 Plan2Explore 框架。
- 类别其他 AI 工具
- 定价模式开源
- 部署云端, 自托管
- 平台网页版
Plan2Explore的核心功能
自监督强化学习代理
利用规划进行高效探索
寻找预期的未来新颖性
实现零样本或少样本任务适应
在探索过程中学习全局世界模型
处理高维图像输入
性能优于先前自监督探索方法
接近拥有奖励访问权限的“神谕”性能
提供 Tensorflow 开源实现
Plan2Explore入门
访问模型:获取 Plan2Explore 代理实现。
设置环境:配置执行所需软件和硬件。
探索:以自监督方式运行代理以学习世界模型。
适应任务:提供奖励函数以微调代理以适应特定的下游任务。
通过 API 集成:利用提供的代码集成到自定义 RL 环境中。
优化:尝试调整参数以提高在目标任务上的性能。
Plan2Explore的使用案例
- 机器人控制
- 游戏 AI
- 自主系统
- 强化学习研究
- 模拟环境







