Beschreibung
Portal2Bench ist ein spezialisierter Benchmark, der entwickelt wurde, um die Problemlösungsfähigkeiten von KI-Agenten innerhalb der komplexen Umgebung von Valves Portal 2 zu bewerten. Die Plattform misst, wie effektiv KI-Agenten eine Reihe von 26 unterschiedlichen Testkammern navigieren und abschließen können, die aus den Kapiteln 2 bis 5 des Spiels stammen. Jede Kammer stellt eine neue, unabhängige Herausforderung für den Agenten dar.
Weiterlesen
Die grundlegende Methodik besteht darin, Portal 2 anzuhalten, während das KI-Modell Informationen verarbeitet und seine nächsten Aktionen formuliert. Der Agent interagiert mit dem Spiel, indem er Tasteneingaben und Blickrichtungen sendet und in Echtzeit Feedback in Form von Screenshots und seiner aktuellen Position innerhalb der Spielwelt erhält. Um eine faire und kontrollierte Bewertung sicherzustellen, erhalten die Agenten einen begrenzten „Notizordner“ für die interne Verarbeitung, haben jedoch keinen Zugang zu externen Ressourcen wie einer Shell, dem Web oder einer Konsole.
Eine Kammer wird nur dann als „gelöst“ betrachtet, wenn der KI-Agent erfolgreich die nächste Karte innerhalb strenger Grenzen erreicht: maximal 300 „Pläne“ (vermutlich Aktionen oder Berechnungsschritte) und eine Kostenobergrenze von 30 $, berechnet auf Basis der API-Listenpreise für die Modellenutzung. Diese doppelte Einschränkung betont sowohl Effizienz als auch wirtschaftliche Tragfähigkeit in der Leistung von KI-Agenten.
Portal2Bench geht auch Bedenken hinsichtlich des „Schummelns“ nach, indem es robuste QA-Prüfungen implementiert. Die Agenten sind auf ihren zugewiesenen Notizordner beschränkt, was unbefugte externe Interaktionen verhindert. Im Falle des „Sterbens“ eines Agenten im Spiel erscheint er an dem letzten Kontrollpunkt wieder, was dem normalen Gameplay von Portal 2 entspricht, und wird einfach über seinen Tod informiert, ohne zusätzlichen Kontext. Der Benchmark erklärt ausdrücklich, dass er nicht mit Valve verbunden ist oder von diesem unterstützt wird, um seinen unabhängigen Forschungsfokus zu gewährleisten.
- KategorieKI-Agenten-Builder
- PreismodellAPI List Prices
- BereitstellungCloud
- PlattformenWeb
Portal2Bench's Kernfunktionen
Benchmarking der KI-Agentenleistung für Portal 2
Bewertung über 26 unterschiedliche Testkammern
Strenge Grenzen für Pläne (300) und Kosten (30 $) pro Kammer
Echtzeit-Spielinteraktion über Tasteneingaben und Blickrichtungen
Visuelle Eingaben durch Screenshots und Positionsdaten
Isolierte Umgebung ohne Zugang zu Shell, Web oder Konsole
Interner 'Notizordner' für die Verarbeitung durch den Agenten
Wiederbelebungsmechanismus an Kontrollpunkten nach dem Tod des Agenten
API-Listenpreise zur Kostenberechnung verwendet
QA-Prüfungen zur Verhinderung unbefugter Aktionen von Agenten
Leaderboard-Tracking für verschiedene KI-Modelle
Unabhängige Forschungsplattform, nicht mit Valve verbunden
Wie verwendet man Portal2Bench?
Ziel verstehen: Lernen, dass Portal2Bench die Fähigkeit von KI-Agenten bewertet, Testkammern in Portal 2 zu lösen.
Benchmarking-Kriterien überprüfen: Beachten, dass Erfolg definiert ist durch das Lösen einer Kammer innerhalb von 300 Plänen und einer Kostenobergrenze von 30 $.
Interaktion des Agenten beobachten: Sehen, wie Agenten Tasten und Blickrichtungen senden, während sie Screenshots und Positionsdaten erhalten.
Modellleistung überprüfen: Das Leaderboard einsehen, um zu vergleichen, wie verschiedene KI-Modelle im Benchmark abschneiden.
Kosten und Effizienz analysieren: Die Kosten pro Kammer, Pläne pro Kammer und Zeit pro Kammer für Einblicke untersuchen.
Portal2Bench's Anwendungsfälle
- Bewertung der KI-Agentenleistung
- Forschung zu Spiel-KI
- Vergleichendes KI-Benchmarking
- Kosten-Nutzen-Analyse von KI-Modellen
- KI-Planung und Strategieentwicklung






