説明
Portal2Benchは、Valveの「Portal 2」の複雑な環境内でAIエージェントの問題解決能力を評価するために設計された専門的なベンチマークです。このプラットフォームは、AIエージェントがゲームの第2章から第5章にわたる26の異なるテストチャンバーをどれだけ効果的にナビゲートし、完了できるかを測定します。各チャンバーは、エージェントにとって新しい独立した課題を表しています。
続きを読む
コアの方法論は、AIモデルが情報を処理し、次のアクションを考える間にPortal 2を一時停止することです。エージェントは、キー入力や視点の回転を送信し、スクリーンショットやゲーム内の現在の位置という形でリアルタイムのフィードバックを受け取ります。公平で制御された評価を確保するために、エージェントには内部処理用の限られた「ノートフォルダー」が提供されますが、シェル、ウェブ、コンソールなどの外部リソースへのアクセスは厳しく制限されています。
チャンバーは、AIエージェントが厳しい制限内で次のマップに到達した場合にのみ「解決された」と見なされます:最大300の「計画」(おそらくアクションまたは計算ステップ)と、モデル使用のAPIリスト価格に基づいて計算された30ドルのコスト上限です。この二重の制約は、AIエージェントのパフォーマンスにおける効率性と経済的実行可能性の両方を強調しています。
Portal2Benchは、「チート」に関する懸念にも対処するために、堅牢なQAチェックを実施しています。エージェントは指定されたノートフォルダーに制限されており、無許可の外部インタラクションを防ぎます。エージェントがゲーム内で「死亡」した場合、通常のPortal 2のゲームプレイを反映して、最後のチェックポイントで再出現し、単にその死を通知されます。このベンチマークは、Valveと提携していないことを明示しており、独立した研究の焦点を確保しています。
- カテゴリーAI エージェントビルダー
- 料金モデルAPI List Prices
- デプロイクラウド
- プラットフォームWeb
Portal2Benchの主要機能
Portal 2のためのAIエージェントパフォーマンスベンチマーキング
26の異なるテストチャンバーにわたる評価
チャンバーごとの計画(300)とコスト(30ドル)の厳しい制限
キー入力と視点の回転によるリアルタイムのゲームインタラクション
スクリーンショットと位置データを通じた視覚的入力
シェル、ウェブ、コンソールアクセスのない隔離された環境
エージェント処理用の内部「ノートフォルダー」
エージェントの死亡時のチェックポイントでの再出現メカニズム
コスト計算に使用されるAPIリスト価格
無許可のエージェントアクションを防ぐためのQAチェック
さまざまなAIモデルのリーダーボード追跡
Valveと提携していない独立した研究プラットフォーム
Portal2Benchの使い方は?
目標を理解する:Portal2BenchがAIエージェントのPortal 2テストチャンバーを解決する能力を評価することを学びます。
ベンチマーキング基準を確認する:成功は、300の計画と30ドルのコスト制限内でチャンバーを解決することによって定義されることに注意します。
エージェントのインタラクションを観察する:エージェントがキーを送信し、視点を回転させながら、スクリーンショットと位置データを受け取る様子を見ます。
モデルのパフォーマンスを確認する:リーダーボードを見て、異なるAIモデルがベンチマークでどのようにパフォーマンスを発揮しているかを比較します。
コストと効率を分析する:チャンバーごとのコスト、チャンバーごとの計画、チャンバーごとの時間メトリクスを調べて洞察を得ます。
Portal2Benchの使用例
- AIエージェントパフォーマンス評価
- ゲームAI研究
- 比較AIベンチマーキング
- AIモデルのコスト効率分析
- AI計画と戦略開発






