跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

StarSkirmish Bench v0.2

StarSkirmish Bench v0.2 是一个基准平台,允许大型语言模型(LLMs)为《星际争霸:母巢之战》编写和测试 Protoss 机器人。每个模型有一个小时的时间来开发一个机器人,然后与人类编写的机器人和其他 LLM 机器人进行评估。

访问URL
分享
StarSkirmish Bench v0.2 截图
StarSkirmish Bench v0.2 截图

StarSkirmish Bench v0.2 是一个独特的基准平台,旨在评估大型语言模型(LLMs)在为经典游戏《星际争霸:母巢之战》编写和优化 Protoss 机器人的能力。该平台挑战每个 LLM 在一小时内用 C++ 编写一个机器人。这些机器人随后将与一系列竞争性的人类编写的机器人和其他 LLM 生成的机器人进行测试,以评估它们的性能。

阅读更多

评估重点在于长远推理和自主编码,因为 LLM 必须通过实践游戏学习以改进其机器人。该平台展示了来自领先 AI 实验室的旗舰模型,如 OpenAI、Anthropic、Google 和 Meta,每个模型都在其实验室的第一方 CLI 环境中运行。每个 LLM 的性能通过其在与固定机器人阵容的五轮比赛中的平均胜率来衡量。

StarSkirmish Bench v0.2 引入了多个更新,包括新模型如 Gemini 4 Argon 和 Muse Wonder Full。表现最佳的模型 GPT-6 Astra 显示出显著的领先地位,尽管人类编写的机器人在最具挑战性的比赛中仍然超越所有 LLM。

该平台还提供了对每个模型的成本效益的洞察,GPT-6.1 Sol 提供了性能与成本的良好平衡。尽管取得了进展,最强的人类编写的机器人仍然处于领先地位,突显了开发能够在复杂战略游戏中匹敌人类创造力的 AI 的持续挑战。

  • 类别AI 游戏开发工具
  • 定价模式未指定
  • 部署CLI
  • 平台OpenBW

  • LLMs 的基准平台

  • 用 C++ 开发 Protoss 机器人

  • 与人类编写的机器人进行评估

  • 一小时开发时间

  • 通过胜率衡量性能

  • 包括来自顶级实验室的旗舰模型

  • 成本效益分析

  • 关注长远推理

  1. 配置:设置 CLI 环境

  2. 开发:用 C++ 编写 Protoss 机器人

  3. 测试:与机器人进行实践游戏

  4. 评估:通过胜率衡量性能

  • AI 模型评估
  • 机器人开发
  • 成本效益分析
  • 长远推理
  • 自主编码

StarSkirmish Bench v0.2 评价

加载中...

与 StarSkirmish Bench v0.2 类似的热门AI工具

BotLab

AI 应用

BotLab 使玩家能够测试和理解视频游戏中的 AI 机器人。它模拟游戏客户端,允许在具有挑战性的场景中观察机器人行为,且无风险。此工具有助于评估可靠性、性能和安全性,无需阅读复杂代码。

AI 游戏开发工具游戏与电竞
查看工具

AI 应用

BotLab 使玩家能够测试和理解视频游戏中的 AI 机器人。它模拟游戏客户端,允许在具有挑战性的场景中观察机器人行为,且无风险。此工具有助于评估可靠性、性能和安全性,无需阅读复杂代码。

AI 游戏开发工具游戏与电竞
查看 AI 应用 Top 250

Ziva 是一个用于 Godot 4 的 AI 插件,使开发者能够使用自然语言生成 GDScript、构建场景和调试错误。它支持多种 AI 模型,并为 Windows、macOS 和 Linux 提供免费套餐。

AI 游戏开发工具游戏与电竞

AI 游戏开发工具 排名第 34 位

查看工具

用于 Godot 4 的 AI 插件,使开发者能够使用自然语言生成 GDScript、构建场景和调试错误。它支持多种 AI 模型,并为 Windows、macOS 和 Linux 提供免费套餐。Ziva 是一个用于 Godot 4 的 AI 插件,使开发者能够使用自然语言生成 GDScript、构建场景和调试错误。它支持多种 AI 模型,并为 Windows、macOS 和 Linux 提供免费套餐。

AI 游戏开发工具游戏与电竞
AI 游戏开发工具 排名第 34 位

Nitrode

AI 应用

Nitrode是一家前沿的人工智能研究公司,提供高质量的空间推理数据、评估和后期训练,帮助构建世界模型、多模态系统和用于游戏开发的自主AI团队。

MLOps 与模型部署游戏与电竞
查看工具

AI 应用

前沿的人工智能研究公司,提供高质量的空间推理数据、评估和后期训练,帮助构建世界模型、多模态系统和用于游戏开发的自主AI团队。Nitrode是一家前沿的人工智能研究公司,提供高质量的空间推理数据、评估和后期训练,帮助构建世界模型、多模态系统和用于游戏开发的自主AI团队。

MLOps 与模型部署游戏与电竞
查看 AI 应用 Top 250

Monster Gaming 是一个为使用 Unreal、Unity、Godot 和定制引擎的游戏开发者设计的人工智能平台。它提供 167 个人工智能代理,用于代码生成、调试、优化和资产管理,并支持来自 15 个提供商的 123 个模型的 OpenAI 兼容 API。

AI 游戏开发工具

游戏开发者 排名第 139 位

查看工具

为使用 Unreal、Unity、Godot 和定制引擎的游戏开发者设计的人工智能平台。它提供 167 个人工智能代理,用于代码生成、调试、优化和资产管理,并支持来自 15 个提供商的 123 个模型的 OpenAI 兼容 API。Monster Gaming 是一个为使用 Unreal、Unity、Godot 和定制引擎的游戏开发者设计的人工智能平台。它提供 167 个人工智能代理,用于代码生成、调试、优化和资产管理,并支持来自 15 个提供商的 123 个模型的 OpenAI 兼容 API。

AI 游戏开发工具
游戏开发者 排名第 139 位

夏季引擎是一款原生AI游戏引擎,允许用户在AI的帮助下创建2D和3D游戏。它支持GDScript和夏季SDK,提供macOS和Windows的免费下载。

AI 游戏开发工具游戏与电竞

AI 游戏开发工具 排名第 45 位

查看工具

原生AI游戏引擎,允许用户在AI的帮助下创建2D和3D游戏。它支持GDScript和夏季SDK,提供macOS和Windows的免费下载。夏季引擎是一款原生AI游戏引擎,允许用户在AI的帮助下创建2D和3D游戏。它支持GDScript和夏季SDK,提供macOS和Windows的免费下载。

AI 游戏开发工具游戏与电竞
AI 游戏开发工具 排名第 45 位

Evidently AI提供开源工具,用于评估和监控AI应用程序。它通过测试大型语言模型(LLMs)和监控各种工作流程中的性能,帮助确保AI系统准备好投入生产。受到全球AI团队的信任。

MLOps 与模型部署

MLOps 与模型部署 排名第 24 位

查看工具

提供开源工具,用于评估和监控AI应用程序。它通过测试大型语言模型(LLMs)和监控各种工作流程中的性能,帮助确保AI系统准备好投入生产。受到全球AI团队的信任。Evidently AI提供开源工具,用于评估和监控AI应用程序。它通过测试大型语言模型(LLMs)和监控各种工作流程中的性能,帮助确保AI系统准备好投入生产。受到全球AI团队的信任。

MLOps 与模型部署
MLOps 与模型部署 排名第 24 位

angryArena

AI 应用

angryArena是一个免费的街机游戏平台,玩家和AI机器人在同一服务器验证的排行榜上竞争,涵盖八款游戏,每天都有特色榜单,并支持自带机器人。

AI 游戏助手游戏与电竞
查看工具

AI 应用

免费的街机游戏平台,玩家和AI机器人在同一服务器验证的排行榜上竞争,涵盖八款游戏,每天都有特色榜单,并支持自带机器人。angryArena是一个免费的街机游戏平台,玩家和AI机器人在同一服务器验证的排行榜上竞争,涵盖八款游戏,每天都有特色榜单,并支持自带机器人。

AI 游戏助手游戏与电竞
查看 AI 应用 Top 250

Beehave 是一个为 Godot 引擎设计的行为树 AI 工具。它通过提供结构化框架,促进游戏中复杂 AI 行为的开发。开发者可以在 GitHub 上为其持续开发做出贡献。

AI 游戏开发工具游戏与电竞

AI GitHub 仓库 排名第 174 位

查看工具

为 Godot 引擎设计的行为树 AI 工具。它通过提供结构化框架,促进游戏中复杂 AI 行为的开发。开发者可以在 GitHub 上为其持续开发做出贡献。Beehave 是一个为 Godot 引擎设计的行为树 AI 工具。它通过提供结构化框架,促进游戏中复杂 AI 行为的开发。开发者可以在 GitHub 上为其持续开发做出贡献。

AI 游戏开发工具游戏与电竞
AI GitHub 仓库 排名第 174 位
1/8