描述
Portal2Bench 是一个专门的基准测试,旨在评估 AI 代理在 Valve 的《Portal 2》复杂环境中的问题解决能力。该平台测量 AI 代理在完成来自游戏第 2 到第 5 章的 26 个不同测试房间的有效性。每个房间代表了代理面临的一个全新独立挑战。
阅读更多
核心方法论涉及在 AI 模型处理信息并制定下一步行动时暂停《Portal 2》。代理通过发送按键和视角转动与游戏互动,实时接收屏幕截图和其在游戏世界中的当前位置反馈。为了确保公平和受控的评估,代理被提供一个有限的“笔记文件夹”用于内部处理,但严格禁止访问外部资源,如 shell、网络或控制台。
只有当 AI 代理在严格限制内成功到达下一个地图时,房间才被视为“解决”:最多 300 个“计划”(可能是行动或计算步骤)和 $30 的成本上限,成本是根据模型使用的 API 列表价格计算的。这一双重约束强调了 AI 代理表现中的效率和经济可行性。
Portal2Bench 还通过实施强有力的质量保证检查来解决“作弊”问题。代理被限制在其指定的笔记文件夹内,防止任何未经授权的外部互动。如果代理在游戏中“死亡”,它将在最后一个检查点重生,类似于正常的《Portal 2》游戏玩法,并仅被告知其死亡情况,而没有额外的上下文。该基准明确声明不与 Valve 相关联或获得其认可,确保其独立的研究重点。
- 类别AI 智能体构建工具
- 定价模式API List Prices
- 部署云端
- 平台网页版
Portal2Bench的核心功能
《Portal 2》的 AI 代理性能基准测试
在 26 个不同测试房间中的评估
每个房间对计划(300)和成本($30)的严格限制
通过按键和视角转动进行实时游戏互动
通过屏幕截图和位置信息提供视觉输入
隔离环境,无 shell、网络或控制台访问
用于代理处理的内部“笔记文件夹”
代理死亡后在检查点的重生机制
用于成本计算的 API 列表定价
质量保证检查以防止未经授权的代理行为
跟踪各种 AI 模型的排行榜
独立研究平台,不与 Valve 相关联
如何使用 Portal2Bench?
了解目标:了解 Portal2Bench 评估 AI 代理解决《Portal 2》测试房间的能力。
审查基准测试标准:注意成功的定义是通过 300 个计划和 $30 的成本限制解决一个房间。
观察代理互动:查看代理如何发送按键和视角转动,同时接收屏幕截图和位置信息。
检查模型性能:查看排行榜以比较不同 AI 模型在基准测试中的表现。
分析成本和效率:检查每个房间的成本、每个房间的计划和每个房间的时间指标以获取见解。
Portal2Bench的使用案例
- AI 代理性能评估
- 游戏 AI 研究
- 比较 AI 基准测试
- AI 模型的成本效率分析
- AI 规划和策略开发






