跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Portal2Bench

AI 应用AI 智能体构建工具API List Prices · 网页版

Portal2Bench 是一个基准测试,评估 AI 代理在视频游戏《Portal 2》中解决测试房间的能力。它通过跟踪成功率、每次运行的成本和执行的计划来衡量代理的表现,并对资源和行动施加严格限制。该平台提供了一个标准化的环境,以比较不同 AI 模型在复杂虚拟世界中的问题解决能力。

访问URL
分享
Portal2Bench 截图
Portal2Bench 截图

Portal2Bench 是一个专门的基准测试,旨在评估 AI 代理在 Valve 的《Portal 2》复杂环境中的问题解决能力。该平台测量 AI 代理在完成来自游戏第 2 到第 5 章的 26 个不同测试房间的有效性。每个房间代表了代理面临的一个全新独立挑战。

阅读更多

核心方法论涉及在 AI 模型处理信息并制定下一步行动时暂停《Portal 2》。代理通过发送按键和视角转动与游戏互动,实时接收屏幕截图和其在游戏世界中的当前位置反馈。为了确保公平和受控的评估,代理被提供一个有限的“笔记文件夹”用于内部处理,但严格禁止访问外部资源,如 shell、网络或控制台。

只有当 AI 代理在严格限制内成功到达下一个地图时,房间才被视为“解决”:最多 300 个“计划”(可能是行动或计算步骤)和 $30 的成本上限,成本是根据模型使用的 API 列表价格计算的。这一双重约束强调了 AI 代理表现中的效率和经济可行性。

Portal2Bench 还通过实施强有力的质量保证检查来解决“作弊”问题。代理被限制在其指定的笔记文件夹内,防止任何未经授权的外部互动。如果代理在游戏中“死亡”,它将在最后一个检查点重生,类似于正常的《Portal 2》游戏玩法,并仅被告知其死亡情况,而没有额外的上下文。该基准明确声明不与 Valve 相关联或获得其认可,确保其独立的研究重点。

  • 类别AI 智能体构建工具
  • 定价模式API List Prices
  • 部署云端
  • 平台网页版

  • 《Portal 2》的 AI 代理性能基准测试

  • 在 26 个不同测试房间中的评估

  • 每个房间对计划(300)和成本($30)的严格限制

  • 通过按键和视角转动进行实时游戏互动

  • 通过屏幕截图和位置信息提供视觉输入

  • 隔离环境,无 shell、网络或控制台访问

  • 用于代理处理的内部“笔记文件夹”

  • 代理死亡后在检查点的重生机制

  • 用于成本计算的 API 列表定价

  • 质量保证检查以防止未经授权的代理行为

  • 跟踪各种 AI 模型的排行榜

  • 独立研究平台,不与 Valve 相关联

  1. 了解目标:了解 Portal2Bench 评估 AI 代理解决《Portal 2》测试房间的能力。

  2. 审查基准测试标准:注意成功的定义是通过 300 个计划和 $30 的成本限制解决一个房间。

  3. 观察代理互动:查看代理如何发送按键和视角转动,同时接收屏幕截图和位置信息。

  4. 检查模型性能:查看排行榜以比较不同 AI 模型在基准测试中的表现。

  5. 分析成本和效率:检查每个房间的成本、每个房间的计划和每个房间的时间指标以获取见解。

  • AI 代理性能评估
  • 游戏 AI 研究
  • 比较 AI 基准测试
  • AI 模型的成本效率分析
  • AI 规划和策略开发

Portal2Bench 评价

加载中...

与 Portal2Bench 类似的热门AI工具

Sketch Stadium 是一个在线平台,旨在连接和与 AI 代理进行游戏。它提供了一个环境,用户可以将自定义构建的代理集成到各种游戏场景中。该平台专注于促进基于代理的游戏玩法,为开发、测试和在结构化游戏生态系统内的互动提供了独特的空间。

AI 游戏开发工具游戏与电竞
查看工具

在线平台,旨在连接和与 AI 代理进行游戏。它提供了一个环境,用户可以将自定义构建的代理集成到各种游戏场景中。该平台专注于促进基于代理的游戏玩法,为开发、测试和在结构化游戏生态系统内的互动提供了独特的空间。Sketch Stadium 是一个在线平台,旨在连接和与 AI 代理进行游戏。它提供了一个环境,用户可以将自定义构建的代理集成到各种游戏场景中。该平台专注于促进基于代理的游戏玩法,为开发、测试和在结构化游戏生态系统内的互动提供了独特的空间。

AI 游戏开发工具游戏与电竞
查看 AI 应用 Top 250

nunu.ai 利用 AI 代理自动化游戏测试,将人工工作成本降低多达 50%。它提供类人界面并支持多个平台,提供实时监控和详细洞察。

AI 代码审查与测试游戏与电竞

AI 代码审查与测试 排名第 105 位

查看工具

利用 AI 代理自动化游戏测试,将人工工作成本降低多达 50%。它提供类人界面并支持多个平台,提供实时监控和详细洞察。nunu.ai 利用 AI 代理自动化游戏测试,将人工工作成本降低多达 50%。它提供类人界面并支持多个平台,提供实时监控和详细洞察。

AI 代码审查与测试游戏与电竞
AI 代码审查与测试 排名第 105 位

Otto

AI 应用

Otto 是一个终端 AI 代理,能够根据预定义标准评估自己的工作。它在多个平台上运行,包括代码库和浏览器,使用以评分标准为先的评估器和分层内存,以确保高准确性和效率。

AI 智能体构建工具

浏览器与网页自动化 排名第 58 位

查看工具

AI 应用

终端 AI 代理,能够根据预定义标准评估自己的工作。它在多个平台上运行,包括代码库和浏览器,使用以评分标准为先的评估器和分层内存,以确保高准确性和效率。Otto 是一个终端 AI 代理,能够根据预定义标准评估自己的工作。它在多个平台上运行,包括代码库和浏览器,使用以评分标准为先的评估器和分层内存,以确保高准确性和效率。

AI 智能体构建工具
浏览器与网页自动化 排名第 58 位

Windows Agent Arena (WAA) 是一个可扩展的开源框架,用于在 Windows 操作系统上评估多模态 AI 代理。它提供了一个逼真的环境,用于测试跨各种任务的代理工作流,从而能够快速进行基准测试和研究桌面操作系统上 AI 代理的能力。

AI 智能体构建工具
查看工具

可扩展的开源框架,用于在 Windows 操作系统上评估多模态 AI 代理。它提供了一个逼真的环境,用于测试跨各种任务的代理工作流,从而能够快速进行基准测试和研究桌面操作系统上 AI 代理的能力。Windows Agent Arena (WAA) 是一个可扩展的开源框架,用于在 Windows 操作系统上评估多模态 AI 代理。它提供了一个逼真的环境,用于测试跨各种任务的代理工作流,从而能够快速进行基准测试和研究桌面操作系统上 AI 代理的能力。

AI 智能体构建工具
查看 AI 框架 Top 50

Tabloy AI Agent 是一款多功能的 AI 工具,可以构建应用程序、网站和 3D 游戏,创建文档和视频,并进行网络研究。它直接在您的浏览器中运行,提供无缝体验,无需安装。

AI 智能体构建工具

AI 研究助手 排名第 200 位

查看工具

多功能的 AI 工具,可以构建应用程序、网站和 3D 游戏,创建文档和视频,并进行网络研究。它直接在您的浏览器中运行,提供无缝体验,无需安装。Tabloy AI Agent 是一款多功能的 AI 工具,可以构建应用程序、网站和 3D 游戏,创建文档和视频,并进行网络研究。它直接在您的浏览器中运行,提供无缝体验,无需安装。

AI 智能体构建工具
AI 研究助手 排名第 200 位

WorldClaw

AI 应用

WorldClaw 是一个为 AI 代理提供操作系统,通过 WorldRouter 访问超过 300 个 AI 模型。它提供具有竞争力的代币套餐,使用户能够轻松部署 AI 代理,提高各类应用的生产力。

AI 智能体构建工具

自动化与智能体 排名第 174 位

查看工具

AI 应用

为 AI 代理提供操作系统,通过 WorldRouter 访问超过 300 个 AI 模型。它提供具有竞争力的代币套餐,使用户能够轻松部署 AI 代理,提高各类应用的生产力。WorldClaw 是一个为 AI 代理提供操作系统,通过 WorldRouter 访问超过 300 个 AI 模型。它提供具有竞争力的代币套餐,使用户能够轻松部署 AI 代理,提高各类应用的生产力。

AI 智能体构建工具
自动化与智能体 排名第 174 位

modl.ai

AI 应用

modl.ai利用AI代理和分析师自动化游戏测试和质量保证,帮助团队更快地发现错误、故障和性能问题,无需SDK或代码。这简化了测试过程,提高了游戏质量。

AI 游戏开发工具游戏与电竞

游戏与娱乐 排名第 19 位

查看工具

AI 应用

利用AI代理和分析师自动化游戏测试和质量保证,帮助团队更快地发现错误、故障和性能问题,无需SDK或代码。这简化了测试过程,提高了游戏质量。modl.ai利用AI代理和分析师自动化游戏测试和质量保证,帮助团队更快地发现错误、故障和性能问题,无需SDK或代码。这简化了测试过程,提高了游戏质量。

AI 游戏开发工具游戏与电竞
游戏与娱乐 排名第 19 位

Cadenya

AI 应用

Cadenya 是一个代理运行时平台,集成了工具、代理和目标,以提高测试和效率。它允许用户在不修改现有 API 的情况下构建和改进代理,提供 webhook、SSE 和前端小部件等功能。

AI 智能体构建工具
查看工具

AI 应用

代理运行时平台,集成了工具、代理和目标,以提高测试和效率。它允许用户在不修改现有 API 的情况下构建和改进代理,提供 webhook、SSE 和前端小部件等功能。Cadenya 是一个代理运行时平台,集成了工具、代理和目标,以提高测试和效率。它允许用户在不修改现有 API 的情况下构建和改进代理,提供 webhook、SSE 和前端小部件等功能。

AI 智能体构建工具
查看 AI 应用 Top 250
1/8