メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

StarSkirmish Bench v0.2

StarSkirmish Bench v0.2は、大規模言語モデル(LLM)がStarCraft: Brood WarのためにProtossボットを作成し、テストするベンチマークプラットフォームです。各モデルはボットを開発するために1時間の制限があり、その後、人間が作成したボットや他のLLMボットと比較評価されます。

URLを訪問
共有
StarSkirmish Bench v0.2 のスクリーンショット
StarSkirmish Bench v0.2 のスクリーンショット

StarSkirmish Bench v0.2は、象徴的なゲームStarCraft: Brood WarのためにProtossボットを作成し最適化する大規模言語モデル(LLM)の能力を評価するために設計されたユニークなベンチマークプラットフォームです。このプラットフォームは、各LLMにC++でボットを1時間以内に作成することを求めます。これらのボットは、競争力のある人間が作成したボットや他のLLM生成ボットのリストに対してテストされ、そのパフォーマンスが評価されます。

続きを読む

評価は長期的な推論とエージェント的コーディングに焦点を当てており、LLMはボットを改善するために練習ゲームから学ぶ必要があります。このプラットフォームには、OpenAI、Anthropic、Google、Metaなどの主要なAIラボからのフラッグシップモデルが含まれており、それぞれのラボのファーストパーティCLIハーネスで実行されています。各LLMのパフォーマンスは、固定されたボットのリストに対する5回の実行の平均勝率によって測定されます。

StarSkirmish Bench v0.2は、Gemini 4 ArgonやMuse Wonder Fullなどの新しいモデルを含む、前のバージョンからのいくつかの更新を導入しています。最高のパフォーマンスを示すモデルであるGPT-6 Astraは、他のモデルに対して大きなリードを示していますが、人間が作成したボットは依然として最も難しい試合で全てのLLMを上回っています。

このプラットフォームは、各モデルのコスト効果に関する洞察も提供しており、GPT-6.1 Solはパフォーマンスとコストのバランスが優れています。進歩があったにもかかわらず、最も強力な人間が作成したボットは依然として先行しており、複雑な戦略ゲームにおいて人間の独創性に匹敵するAIの開発の継続的な課題を浮き彫りにしています。

  • カテゴリーAIゲーム開発ツール
  • 料金モデル未指定
  • デプロイCLI
  • プラットフォームOpenBW

  • LLMのためのベンチマークプラットフォーム

  • C++でのProtossボット開発

  • 人間が作成したボットとの評価

  • 1時間の開発時間枠

  • 勝率によるパフォーマンス測定

  • 主要ラボからのフラッグシップモデルを含む

  • コスト効果分析

  • 長期的な推論に焦点を当てる

  1. 設定: CLIハーネスをセットアップする

  2. 開発: C++でProtossボットを書く

  3. テスト: ボットに対して練習ゲームを実行する

  4. 評価: 勝率によってパフォーマンスを測定する

  • AIモデル評価
  • ボット開発
  • コスト効果分析
  • 長期的な推論
  • エージェント的コーディング

StarSkirmish Bench v0.2 のレビュー

読み込み中...

StarSkirmish Bench v0.2 に似た人気のAIツール

BotLab

AI アプリ

BotLabは、ユーザーがビデオゲーム内のAIボットをテストし、理解することを可能にします。ゲームクライアントをシミュレートし、リスクなしで困難なシナリオでのボットの動作を観察できます。このツールは、複雑なコードを読む必要をなくし、信頼性、パフォーマンス、安全性を評価するのに役立ちます。

AIゲーム開発ツールゲーム・eスポーツ
ツールを見る

AI アプリ

ユーザーがビデオゲーム内のAIボットをテストし、理解することを可能にします。ゲームクライアントをシミュレートし、リスクなしで困難なシナリオでのボットの動作を観察できます。このツールは、複雑なコードを読む必要をなくし、信頼性、パフォーマンス、安全性を評価するのに役立ちます。BotLabは、ユーザーがビデオゲーム内のAIボットをテストし、理解することを可能にします。ゲームクライアントをシミュレートし、リスクなしで困難なシナリオでのボットの動作を観察できます。このツールは、複雑なコードを読む必要をなくし、信頼性、パフォーマンス、安全性を評価するのに役立ちます。

AIゲーム開発ツールゲーム・eスポーツ
AI アプリ トップ250を見る

ZivaはGodot 4用のAIプラグインで、開発者が自然言語を使用してGDScriptを生成し、シーンを構築し、エラーをデバッグできるようにします。複数のAIモデルをサポートし、Windows、macOS、Linux向けに無料プランを提供しています。

AIゲーム開発ツールゲーム・eスポーツ

AIゲーム開発ツールで第34位

ツールを見る

Godot 4用のAIプラグインで、開発者が自然言語を使用してGDScriptを生成し、シーンを構築し、エラーをデバッグできるようにします。複数のAIモデルをサポートし、Windows、macOS、Linux向けに無料プランを提供しています。ZivaはGodot 4用のAIプラグインで、開発者が自然言語を使用してGDScriptを生成し、シーンを構築し、エラーをデバッグできるようにします。複数のAIモデルをサポートし、Windows、macOS、Linux向けに無料プランを提供しています。

AIゲーム開発ツールゲーム・eスポーツ
AIゲーム開発ツールで第34位

Nitrode

AI アプリ

Nitrodeは、世界モデル、マルチモーダルシステム、ゲーム開発のためのエージェントAIを構築するチームに高品質な空間推論データ、評価、ポストトレーニングを提供する最前線のAI研究会社です。

MLOps・モデルデプロイゲーム・eスポーツ
ツールを見る

AI アプリ

世界モデル、マルチモーダルシステム、ゲーム開発のためのエージェントAIを構築するチームに高品質な空間推論データ、評価、ポストトレーニングを提供する最前線のAI研究会社です。Nitrodeは、世界モデル、マルチモーダルシステム、ゲーム開発のためのエージェントAIを構築するチームに高品質な空間推論データ、評価、ポストトレーニングを提供する最前線のAI研究会社です。

MLOps・モデルデプロイゲーム・eスポーツ
AI アプリ トップ250を見る

Monster Gaming

AI プラットフォーム

モンスターゲームは、Unreal、Unity、Godot、およびカスタムエンジンを使用するゲーム開発者向けに設計されたAI駆動のプラットフォームです。コード生成、デバッグ、最適化、アセット管理などのタスクに対応する167のAIエージェントを提供し、15のプロバイダーからの123のモデルをサポートするOpenAI互換APIを備えています。

AIゲーム開発ツール

ゲーム開発者で第139位

ツールを見る

AI プラットフォーム

モンスターゲームは、Unreal、Unity、Godot、およびカスタムエンジンを使用するゲーム開発者向けに設計されたAI駆動のプラットフォームです。コード生成、デバッグ、最適化、アセット管理などのタスクに対応する167のAIエージェントを提供し、15のプロバイダーからの123のモデルをサポートするOpenAI互換APIを備えています。

AIゲーム開発ツール
ゲーム開発者で第139位

サマーエンジンは、ユーザーがAIの支援を受けて2Dおよび3Dゲームを作成できるAIネイティブのゲームエンジンです。GDScriptとサマーSDKをサポートし、macOSおよびWindows用の無料ダウンロードを提供します。

AIゲーム開発ツールゲーム・eスポーツ

AIゲーム開発ツールで第45位

ツールを見る

ユーザーがAIの支援を受けて2Dおよび3Dゲームを作成できるAIネイティブのゲームエンジンです。GDScriptとサマーSDKをサポートし、macOSおよびWindows用の無料ダウンロードを提供します。サマーエンジンは、ユーザーがAIの支援を受けて2Dおよび3Dゲームを作成できるAIネイティブのゲームエンジンです。GDScriptとサマーSDKをサポートし、macOSおよびWindows用の無料ダウンロードを提供します。

AIゲーム開発ツールゲーム・eスポーツ
AIゲーム開発ツールで第45位

Evidently AIは、AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。

MLOps・モデルデプロイ

MLOps・モデルデプロイで第24位

ツールを見る

AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。Evidently AIは、AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。

MLOps・モデルデプロイ
MLOps・モデルデプロイで第24位

angryArena

AI アプリ

angryArenaは、8つのゲームで人間とAIボットが同じサーバー検証済みのリーダーボードで競い合う無料のアーケードゲームプラットフォームで、毎日特集ボードがあり、自分のボットを持ち込むことができます。

AIゲームアシスタントゲーム・eスポーツ
ツールを見る

AI アプリ

8つのゲームで人間とAIボットが同じサーバー検証済みのリーダーボードで競い合う無料のアーケードゲームプラットフォームで、毎日特集ボードがあり、自分のボットを持ち込むことができます。angryArenaは、8つのゲームで人間とAIボットが同じサーバー検証済みのリーダーボードで競い合う無料のアーケードゲームプラットフォームで、毎日特集ボードがあり、自分のボットを持ち込むことができます。

AIゲームアシスタントゲーム・eスポーツ
AI アプリ トップ250を見る

Beehave AI for Godot Engine

AI GitHub リポジトリ

Beehaveは、Godot Engine向けに設計された行動ツリーAIツールです。構造化されたフレームワークを提供することで、ゲームにおける複雑なAIの振る舞いの開発を容易にします。開発者はGitHubでその継続的な開発に貢献できます。

AIゲーム開発ツールゲーム・eスポーツ

AI GitHub リポジトリで第174位

ツールを見る

AI GitHub リポジトリ

Godot Engine向けに設計された行動ツリーAIツールです。構造化されたフレームワークを提供することで、ゲームにおける複雑なAIの振る舞いの開発を容易にします。開発者はGitHubでその継続的な開発に貢献できます。Beehaveは、Godot Engine向けに設計された行動ツリーAIツールです。構造化されたフレームワークを提供することで、ゲームにおける複雑なAIの振る舞いの開発を容易にします。開発者はGitHubでその継続的な開発に貢献できます。

AIゲーム開発ツールゲーム・eスポーツ
AI GitHub リポジトリで第174位
1 / 8