メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

Portal2Bench

Portal2Benchは、ビデオゲーム「Portal 2」のテストチャンバーを解決するAIエージェントの能力を評価するベンチマークです。エージェントのパフォーマンスは、成功率、実行コスト、実行された計画を追跡することで測定され、リソースとアクションに厳しい制限が設けられています。このプラットフォームは、複雑な仮想世界における異なるAIモデルの問題解決能力を比較するための標準化された環境を提供します。

URLを訪問
共有
Portal2Bench のスクリーンショット
Portal2Bench のスクリーンショット

Portal2Benchは、Valveの「Portal 2」の複雑な環境内でAIエージェントの問題解決能力を評価するために設計された専門的なベンチマークです。このプラットフォームは、AIエージェントがゲームの第2章から第5章にわたる26の異なるテストチャンバーをどれだけ効果的にナビゲートし、完了できるかを測定します。各チャンバーは、エージェントにとって新しい独立した課題を表しています。

続きを読む

コアの方法論は、AIモデルが情報を処理し、次のアクションを考える間にPortal 2を一時停止することです。エージェントは、キー入力や視点の回転を送信し、スクリーンショットやゲーム内の現在の位置という形でリアルタイムのフィードバックを受け取ります。公平で制御された評価を確保するために、エージェントには内部処理用の限られた「ノートフォルダー」が提供されますが、シェル、ウェブ、コンソールなどの外部リソースへのアクセスは厳しく制限されています。

チャンバーは、AIエージェントが厳しい制限内で次のマップに到達した場合にのみ「解決された」と見なされます:最大300の「計画」(おそらくアクションまたは計算ステップ)と、モデル使用のAPIリスト価格に基づいて計算された30ドルのコスト上限です。この二重の制約は、AIエージェントのパフォーマンスにおける効率性と経済的実行可能性の両方を強調しています。

Portal2Benchは、「チート」に関する懸念にも対処するために、堅牢なQAチェックを実施しています。エージェントは指定されたノートフォルダーに制限されており、無許可の外部インタラクションを防ぎます。エージェントがゲーム内で「死亡」した場合、通常のPortal 2のゲームプレイを反映して、最後のチェックポイントで再出現し、単にその死を通知されます。このベンチマークは、Valveと提携していないことを明示しており、独立した研究の焦点を確保しています。

  • カテゴリーAI エージェントビルダー
  • 料金モデルAPI List Prices
  • デプロイクラウド
  • プラットフォームWeb

  • Portal 2のためのAIエージェントパフォーマンスベンチマーキング

  • 26の異なるテストチャンバーにわたる評価

  • チャンバーごとの計画(300)とコスト(30ドル)の厳しい制限

  • キー入力と視点の回転によるリアルタイムのゲームインタラクション

  • スクリーンショットと位置データを通じた視覚的入力

  • シェル、ウェブ、コンソールアクセスのない隔離された環境

  • エージェント処理用の内部「ノートフォルダー」

  • エージェントの死亡時のチェックポイントでの再出現メカニズム

  • コスト計算に使用されるAPIリスト価格

  • 無許可のエージェントアクションを防ぐためのQAチェック

  • さまざまなAIモデルのリーダーボード追跡

  • Valveと提携していない独立した研究プラットフォーム

  1. 目標を理解する:Portal2BenchがAIエージェントのPortal 2テストチャンバーを解決する能力を評価することを学びます。

  2. ベンチマーキング基準を確認する:成功は、300の計画と30ドルのコスト制限内でチャンバーを解決することによって定義されることに注意します。

  3. エージェントのインタラクションを観察する:エージェントがキーを送信し、視点を回転させながら、スクリーンショットと位置データを受け取る様子を見ます。

  4. モデルのパフォーマンスを確認する:リーダーボードを見て、異なるAIモデルがベンチマークでどのようにパフォーマンスを発揮しているかを比較します。

  5. コストと効率を分析する:チャンバーごとのコスト、チャンバーごとの計画、チャンバーごとの時間メトリクスを調べて洞察を得ます。

  • AIエージェントパフォーマンス評価
  • ゲームAI研究
  • 比較AIベンチマーキング
  • AIモデルのコスト効率分析
  • AI計画と戦略開発

Portal2Bench のレビュー

読み込み中...

Portal2Bench に似た人気のAIツール

Sketch Stadium

AI アプリ

Sketch Stadiumは、AIエージェントとゲームを接続してプレイするために設計されたオンラインプラットフォームです。ユーザーがカスタムビルドしたエージェントを統合し、さまざまなゲームシナリオに参加できる環境を提供します。このプラットフォームは、エージェントベースのゲームプレイを促進することに焦点を当てており、構造化されたゲームエコシステム内での開発、…

AIゲーム開発ツールゲーム・eスポーツ
ツールを見る

AI アプリ

AIエージェントとゲームを接続してプレイするために設計されたオンラインプラットフォームです。ユーザーがカスタムビルドしたエージェントを統合し、さまざまなゲームシナリオに参加できる環境を提供します。このプラットフォームは、エージェントベースのゲームプレイを促進することに焦点を当てており、構造化されたゲームエコシステム内での開発、…Sketch Stadiumは、AIエージェントとゲームを接続してプレイするために設計されたオンラインプラットフォームです。ユーザーがカスタムビルドしたエージェントを統合し、さまざまなゲームシナリオに参加できる環境を提供します。このプラットフォームは、エージェントベースのゲームプレイを促進することに焦点を当てており、構造化されたゲームエコシステム内での開発、…

AIゲーム開発ツールゲーム・eスポーツ
AI アプリ トップ250を見る

nunu.aiはAIエージェントを使用してゲームテストを自動化し、手作業のコストを最大50%削減します。人間のようなインターフェースを提供し、複数のプラットフォームをサポートし、リアルタイムの監視と詳細なインサイトを提供します。

AI コードレビュー・テストゲーム・eスポーツ

AI コードレビュー・テストで第101位

ツールを見る

AIエージェントを使用してゲームテストを自動化し、手作業のコストを最大50%削減します。人間のようなインターフェースを提供し、複数のプラットフォームをサポートし、リアルタイムの監視と詳細なインサイトを提供します。nunu.aiはAIエージェントを使用してゲームテストを自動化し、手作業のコストを最大50%削減します。人間のようなインターフェースを提供し、複数のプラットフォームをサポートし、リアルタイムの監視と詳細なインサイトを提供します。

AI コードレビュー・テストゲーム・eスポーツ
AI コードレビュー・テストで第101位

オットー

AI アプリ

オットーは、事前に定義された基準に対して自身の作業を評価するターミナルAIエージェントです。コードベースやブラウザを含むさまざまなプラットフォームで動作し、ルーブリックファーストの評価者と階層メモリを使用して高い精度と効率を確保します。

AI エージェントビルダー

ブラウザ・Web 自動化で第56位

ツールを見る

AI アプリ

事前に定義された基準に対して自身の作業を評価するターミナルAIエージェントです。コードベースやブラウザを含むさまざまなプラットフォームで動作し、ルーブリックファーストの評価者と階層メモリを使用して高い精度と効率を確保します。オットーは、事前に定義された基準に対して自身の作業を評価するターミナルAIエージェントです。コードベースやブラウザを含むさまざまなプラットフォームで動作し、ルーブリックファーストの評価者と階層メモリを使用して高い精度と効率を確保します。

AI エージェントビルダー
ブラウザ・Web 自動化で第56位

Windows Agent Arena

AI フレームワーク

Windows Agent Arena (WAA) は、Windows OS 上でマルチモーダルAIエージェントを評価するためのスケーラブルなオープンソースフレームワークです。多様なタスクにわたるエージェントワークフローをテストするための現実的な環境を提供し、デスクトップオペレーティングシステムにおけるAIエージェントの能力に関する迅速なベンチマーキングと研…

AI エージェントビルダー
ツールを見る

AI フレームワーク

Windows OS 上でマルチモーダルAIエージェントを評価するためのスケーラブルなオープンソースフレームワークです。多様なタスクにわたるエージェントワークフローをテストするための現実的な環境を提供し、デスクトップオペレーティングシステムにおけるAIエージェントの能力に関する迅速なベンチマーキングと研…Windows Agent Arena (WAA) は、Windows OS 上でマルチモーダルAIエージェントを評価するためのスケーラブルなオープンソースフレームワークです。多様なタスクにわたるエージェントワークフローをテストするための現実的な環境を提供し、デスクトップオペレーティングシステムにおけるAIエージェントの能力に関する迅速なベンチマーキングと研…

AI エージェントビルダー
AI フレームワーク トップ50を見る

Tabloy AI Agent

AI アプリ

Tabloy AI Agentは、アプリ、ウェブサイト、3Dゲームを構築し、文書や動画を作成し、ウェブリサーチを行う多目的AIツールです。ブラウザ内で直接操作でき、インストールの必要がないシームレスな体験を提供します。

AI エージェントビルダー
ツールを見る

AI アプリ

アプリ、ウェブサイト、3Dゲームを構築し、文書や動画を作成し、ウェブリサーチを行う多目的AIツールです。ブラウザ内で直接操作でき、インストールの必要がないシームレスな体験を提供します。Tabloy AI Agentは、アプリ、ウェブサイト、3Dゲームを構築し、文書や動画を作成し、ウェブリサーチを行う多目的AIツールです。ブラウザ内で直接操作でき、インストールの必要がないシームレスな体験を提供します。

AI エージェントビルダー
AI アプリ トップ250を見る

WorldClaw

AI アプリ

WorldClawはAIエージェントのためのオペレーティングシステムで、WorldRouterを通じて300以上のAIモデルにアクセスできます。競争力のあるトークンパッケージを提供し、ユーザーがAIエージェントを簡単に展開できるようにし、さまざまなアプリケーションで生産性を向上させます。

AI エージェントビルダー

自動化とエージェントで第188位

ツールを見る

AI アプリ

AIエージェントのためのオペレーティングシステムで、WorldRouterを通じて300以上のAIモデルにアクセスできます。競争力のあるトークンパッケージを提供し、ユーザーがAIエージェントを簡単に展開できるようにし、さまざまなアプリケーションで生産性を向上させます。WorldClawはAIエージェントのためのオペレーティングシステムで、WorldRouterを通じて300以上のAIモデルにアクセスできます。競争力のあるトークンパッケージを提供し、ユーザーがAIエージェントを簡単に展開できるようにし、さまざまなアプリケーションで生産性を向上させます。

AI エージェントビルダー
自動化とエージェントで第188位

modl.ai

AI アプリ

modl.aiは、AIエージェントとアナリストを使用してゲームテストとQAを自動化し、チームがSDKやコードを必要とせずにバグ、グリッチ、パフォーマンスの問題を迅速に発見できるようにします。これにより、テストプロセスが効率化され、ゲームの品質が向上します。

AIゲーム開発ツールゲーム・eスポーツ

ゲーム・エンタメで第19位

ツールを見る

AI アプリ

AIエージェントとアナリストを使用してゲームテストとQAを自動化し、チームがSDKやコードを必要とせずにバグ、グリッチ、パフォーマンスの問題を迅速に発見できるようにします。これにより、テストプロセスが効率化され、ゲームの品質が向上します。modl.aiは、AIエージェントとアナリストを使用してゲームテストとQAを自動化し、チームがSDKやコードを必要とせずにバグ、グリッチ、パフォーマンスの問題を迅速に発見できるようにします。これにより、テストプロセスが効率化され、ゲームの品質が向上します。

AIゲーム開発ツールゲーム・eスポーツ
ゲーム・エンタメで第19位

Cadenya

AI アプリ

Cadenyaは、テストと効率を向上させるためにツール、エージェント、目的を統合するエージェントランタイムプラットフォームです。ユーザーは既存のAPIを変更することなくエージェントを構築および改善でき、Webhook、SSE、フロントエンドウィジェットなどの機能を提供します。

AI エージェントビルダー
ツールを見る

AI アプリ

テストと効率を向上させるためにツール、エージェント、目的を統合するエージェントランタイムプラットフォームです。ユーザーは既存のAPIを変更することなくエージェントを構築および改善でき、Webhook、SSE、フロントエンドウィジェットなどの機能を提供します。Cadenyaは、テストと効率を向上させるためにツール、エージェント、目的を統合するエージェントランタイムプラットフォームです。ユーザーは既存のAPIを変更することなくエージェントを構築および改善でき、Webhook、SSE、フロントエンドウィジェットなどの機能を提供します。

AI エージェントビルダー
AI アプリ トップ250を見る
1 / 8