説明
StarSkirmish Bench v0.2は、象徴的なゲームStarCraft: Brood WarのためにProtossボットを作成し最適化する大規模言語モデル(LLM)の能力を評価するために設計されたユニークなベンチマークプラットフォームです。このプラットフォームは、各LLMにC++でボットを1時間以内に作成することを求めます。これらのボットは、競争力のある人間が作成したボットや他のLLM生成ボットのリストに対してテストされ、そのパフォーマンスが評価されます。
続きを読む
評価は長期的な推論とエージェント的コーディングに焦点を当てており、LLMはボットを改善するために練習ゲームから学ぶ必要があります。このプラットフォームには、OpenAI、Anthropic、Google、Metaなどの主要なAIラボからのフラッグシップモデルが含まれており、それぞれのラボのファーストパーティCLIハーネスで実行されています。各LLMのパフォーマンスは、固定されたボットのリストに対する5回の実行の平均勝率によって測定されます。
StarSkirmish Bench v0.2は、Gemini 4 ArgonやMuse Wonder Fullなどの新しいモデルを含む、前のバージョンからのいくつかの更新を導入しています。最高のパフォーマンスを示すモデルであるGPT-6 Astraは、他のモデルに対して大きなリードを示していますが、人間が作成したボットは依然として最も難しい試合で全てのLLMを上回っています。
このプラットフォームは、各モデルのコスト効果に関する洞察も提供しており、GPT-6.1 Solはパフォーマンスとコストのバランスが優れています。進歩があったにもかかわらず、最も強力な人間が作成したボットは依然として先行しており、複雑な戦略ゲームにおいて人間の独創性に匹敵するAIの開発の継続的な課題を浮き彫りにしています。
- カテゴリーAIゲーム開発ツール
- 料金モデル未指定
- デプロイCLI
- プラットフォームOpenBW
StarSkirmish Bench v0.2の主要機能
LLMのためのベンチマークプラットフォーム
C++でのProtossボット開発
人間が作成したボットとの評価
1時間の開発時間枠
勝率によるパフォーマンス測定
主要ラボからのフラッグシップモデルを含む
コスト効果分析
長期的な推論に焦点を当てる
StarSkirmish Bench v0.2の使い方は?
設定: CLIハーネスをセットアップする
開発: C++でProtossボットを書く
テスト: ボットに対して練習ゲームを実行する
評価: 勝率によってパフォーマンスを測定する
StarSkirmish Bench v0.2の使用例
- AIモデル評価
- ボット開発
- コスト効果分析
- 長期的な推論
- エージェント的コーディング







