Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

Portal2Bench

KI-AppsKI-Agenten-BuilderAPI List Prices · Web

Portal2Bench ist ein Benchmark, der die Fähigkeit von KI-Agenten bewertet, Testkammern im Videospiel Portal 2 zu lösen. Er misst die Leistung der Agenten, indem er Erfolgsquoten, Kosten pro Durchlauf und ausgeführte Pläne verfolgt, mit strengen Grenzen für Ressourcen und Aktionen. Diese Plattform bietet eine standardisierte Umgebung, um die Problemlösungsfähigkeiten verschiedener KI-Modelle in einer komplexen virtuellen Welt zu vergleichen.

URL besuchen
Teilen
Screenshot von Portal2Bench
Screenshot von Portal2Bench

Portal2Bench ist ein spezialisierter Benchmark, der entwickelt wurde, um die Problemlösungsfähigkeiten von KI-Agenten innerhalb der komplexen Umgebung von Valves Portal 2 zu bewerten. Die Plattform misst, wie effektiv KI-Agenten eine Reihe von 26 unterschiedlichen Testkammern navigieren und abschließen können, die aus den Kapiteln 2 bis 5 des Spiels stammen. Jede Kammer stellt eine neue, unabhängige Herausforderung für den Agenten dar.

Weiterlesen

Die grundlegende Methodik besteht darin, Portal 2 anzuhalten, während das KI-Modell Informationen verarbeitet und seine nächsten Aktionen formuliert. Der Agent interagiert mit dem Spiel, indem er Tasteneingaben und Blickrichtungen sendet und in Echtzeit Feedback in Form von Screenshots und seiner aktuellen Position innerhalb der Spielwelt erhält. Um eine faire und kontrollierte Bewertung sicherzustellen, erhalten die Agenten einen begrenzten „Notizordner“ für die interne Verarbeitung, haben jedoch keinen Zugang zu externen Ressourcen wie einer Shell, dem Web oder einer Konsole.

Eine Kammer wird nur dann als „gelöst“ betrachtet, wenn der KI-Agent erfolgreich die nächste Karte innerhalb strenger Grenzen erreicht: maximal 300 „Pläne“ (vermutlich Aktionen oder Berechnungsschritte) und eine Kostenobergrenze von 30 $, berechnet auf Basis der API-Listenpreise für die Modellenutzung. Diese doppelte Einschränkung betont sowohl Effizienz als auch wirtschaftliche Tragfähigkeit in der Leistung von KI-Agenten.

Portal2Bench geht auch Bedenken hinsichtlich des „Schummelns“ nach, indem es robuste QA-Prüfungen implementiert. Die Agenten sind auf ihren zugewiesenen Notizordner beschränkt, was unbefugte externe Interaktionen verhindert. Im Falle des „Sterbens“ eines Agenten im Spiel erscheint er an dem letzten Kontrollpunkt wieder, was dem normalen Gameplay von Portal 2 entspricht, und wird einfach über seinen Tod informiert, ohne zusätzlichen Kontext. Der Benchmark erklärt ausdrücklich, dass er nicht mit Valve verbunden ist oder von diesem unterstützt wird, um seinen unabhängigen Forschungsfokus zu gewährleisten.

  • KategorieKI-Agenten-Builder
  • PreismodellAPI List Prices
  • BereitstellungCloud
  • PlattformenWeb

  • Benchmarking der KI-Agentenleistung für Portal 2

  • Bewertung über 26 unterschiedliche Testkammern

  • Strenge Grenzen für Pläne (300) und Kosten (30 $) pro Kammer

  • Echtzeit-Spielinteraktion über Tasteneingaben und Blickrichtungen

  • Visuelle Eingaben durch Screenshots und Positionsdaten

  • Isolierte Umgebung ohne Zugang zu Shell, Web oder Konsole

  • Interner 'Notizordner' für die Verarbeitung durch den Agenten

  • Wiederbelebungsmechanismus an Kontrollpunkten nach dem Tod des Agenten

  • API-Listenpreise zur Kostenberechnung verwendet

  • QA-Prüfungen zur Verhinderung unbefugter Aktionen von Agenten

  • Leaderboard-Tracking für verschiedene KI-Modelle

  • Unabhängige Forschungsplattform, nicht mit Valve verbunden

  1. Ziel verstehen: Lernen, dass Portal2Bench die Fähigkeit von KI-Agenten bewertet, Testkammern in Portal 2 zu lösen.

  2. Benchmarking-Kriterien überprüfen: Beachten, dass Erfolg definiert ist durch das Lösen einer Kammer innerhalb von 300 Plänen und einer Kostenobergrenze von 30 $.

  3. Interaktion des Agenten beobachten: Sehen, wie Agenten Tasten und Blickrichtungen senden, während sie Screenshots und Positionsdaten erhalten.

  4. Modellleistung überprüfen: Das Leaderboard einsehen, um zu vergleichen, wie verschiedene KI-Modelle im Benchmark abschneiden.

  5. Kosten und Effizienz analysieren: Die Kosten pro Kammer, Pläne pro Kammer und Zeit pro Kammer für Einblicke untersuchen.

  • Bewertung der KI-Agentenleistung
  • Forschung zu Spiel-KI
  • Vergleichendes KI-Benchmarking
  • Kosten-Nutzen-Analyse von KI-Modellen
  • KI-Planung und Strategieentwicklung

Portal2Bench Bewertungen

Wird geladen...

Beliebte KI-Tools wie Portal2Bench

Sketch Stadium ist eine Online-Plattform, die entwickelt wurde, um Spiele mit KI-Agenten zu verbinden und zu spielen. Sie bietet eine Umgebung, in der Benutzer ihre…

KI-Tools für die SpieleentwicklungGaming und E-Sport
Tool ansehen

Online-Plattform, die entwickelt wurde, um Spiele mit KI-Agenten zu verbinden und zu spielen. Sie bietet eine Umgebung, in der Benutzer ihre…Sketch Stadium ist eine Online-Plattform, die entwickelt wurde, um Spiele mit KI-Agenten zu verbinden und zu spielen. Sie bietet eine Umgebung, in der Benutzer ihre…

KI-Tools für die SpieleentwicklungGaming und E-Sport
Top 250 KI-Apps ansehen

nunu.ai automatisiert das Testen von Spielen mit KI-Agenten und senkt die Kosten für manuelle Arbeiten um bis zu 50 %. Es bietet eine menschenähnliche Schnittstelle und…

KI-Code-Review & -TestingGaming und E-Sport

Platz 105 in KI-Code-Review & -Testing

Tool ansehen

Automatisiert das Testen von Spielen mit KI-Agenten und senkt die Kosten für manuelle Arbeiten um bis zu 50 %. Es bietet eine menschenähnliche Schnittstelle und…nunu.ai automatisiert das Testen von Spielen mit KI-Agenten und senkt die Kosten für manuelle Arbeiten um bis zu 50 %. Es bietet eine menschenähnliche Schnittstelle und…

KI-Code-Review & -TestingGaming und E-Sport
Platz 105 in KI-Code-Review & -Testing

Otto

KI-Apps

Otto ist ein terminaler KI-Agent, der seine eigene Arbeit anhand vordefinierter Kriterien bewertet. Er arbeitet auf verschiedenen Plattformen, einschließlich Codebasen und…

KI-Agenten-Builder

Platz 57 in Browser- & Web-Automatisierung

Tool ansehen

KI-Apps

Terminaler KI-Agent, der seine eigene Arbeit anhand vordefinierter Kriterien bewertet. Er arbeitet auf verschiedenen Plattformen, einschließlich Codebasen und…Otto ist ein terminaler KI-Agent, der seine eigene Arbeit anhand vordefinierter Kriterien bewertet. Er arbeitet auf verschiedenen Plattformen, einschließlich Codebasen und…

KI-Agenten-Builder
Platz 57 in Browser- & Web-Automatisierung

Windows Agent Arena

KI-Frameworks

Windows Agent Arena (WAA) ist ein skalierbares Open-Source-Framework zur Evaluierung multimodaler KI-Agenten auf dem Windows-Betriebssystem. Es bietet eine realistische Umgebung…

KI-Agenten-Builder
Tool ansehen

KI-Frameworks

Skalierbares Open-Source-Framework zur Evaluierung multimodaler KI-Agenten auf dem Windows-Betriebssystem. Es bietet eine realistische Umgebung…Windows Agent Arena (WAA) ist ein skalierbares Open-Source-Framework zur Evaluierung multimodaler KI-Agenten auf dem Windows-Betriebssystem. Es bietet eine realistische Umgebung…

KI-Agenten-Builder
Top 50 KI-Frameworks ansehen

Tabloy AI Agent ist ein vielseitiges KI-Tool, das Apps, Websites und 3D-Spiele erstellt, Dokumente und Videos generiert und Web-Recherchen durchführt. Es funktioniert direkt in…

KI-Agenten-Builder

Platz 200 in KI-Forschungsassistenten

Tool ansehen

Vielseitiges KI-Tool, das Apps, Websites und 3D-Spiele erstellt, Dokumente und Videos generiert und Web-Recherchen durchführt. Es funktioniert direkt in…Tabloy AI Agent ist ein vielseitiges KI-Tool, das Apps, Websites und 3D-Spiele erstellt, Dokumente und Videos generiert und Web-Recherchen durchführt. Es funktioniert direkt in…

KI-Agenten-Builder
Platz 200 in KI-Forschungsassistenten

WorldClaw

KI-Apps

WorldClaw ist ein Betriebssystem für KI-Agenten, das über WorldRouter Zugriff auf über 300 KI-Modelle bietet. Es bietet wettbewerbsfähige Token-Pakete und ermöglicht es Benutzern,…

KI-Agenten-Builder

Platz 172 in Automatisierung & Agenten

Tool ansehen

KI-Apps

Betriebssystem für KI-Agenten, das über WorldRouter Zugriff auf über 300 KI-Modelle bietet. Es bietet wettbewerbsfähige Token-Pakete und ermöglicht es Benutzern,…WorldClaw ist ein Betriebssystem für KI-Agenten, das über WorldRouter Zugriff auf über 300 KI-Modelle bietet. Es bietet wettbewerbsfähige Token-Pakete und ermöglicht es Benutzern,…

KI-Agenten-Builder
Platz 172 in Automatisierung & Agenten

modl.ai

KI-Apps

modl.ai nutzt KI-Agenten und Analysten, um das Testen von Spielen und die Qualitätssicherung (QA) zu automatisieren, wodurch Teams schneller Bugs, Glitches und Leistungsprobleme…

KI-Tools für die SpieleentwicklungGaming und E-Sport

Platz 19 in Gaming & Unterhaltung

Tool ansehen

KI-Apps

Nutzt KI-Agenten und Analysten, um das Testen von Spielen und die Qualitätssicherung (QA) zu automatisieren, wodurch Teams schneller Bugs, Glitches und Leistungsprobleme…modl.ai nutzt KI-Agenten und Analysten, um das Testen von Spielen und die Qualitätssicherung (QA) zu automatisieren, wodurch Teams schneller Bugs, Glitches und Leistungsprobleme…

KI-Tools für die SpieleentwicklungGaming und E-Sport
Platz 19 in Gaming & Unterhaltung

Cadenya

KI-Apps

Cadenya ist eine Agenten-Laufzeitplattform, die Werkzeuge, Agenten und Ziele integriert, um Tests und Effizienz zu verbessern. Sie ermöglicht es Benutzern, Agenten zu erstellen…

KI-Agenten-Builder
Tool ansehen

KI-Apps

Agenten-Laufzeitplattform, die Werkzeuge, Agenten und Ziele integriert, um Tests und Effizienz zu verbessern. Sie ermöglicht es Benutzern, Agenten zu erstellen…Cadenya ist eine Agenten-Laufzeitplattform, die Werkzeuge, Agenten und Ziele integriert, um Tests und Effizienz zu verbessern. Sie ermöglicht es Benutzern, Agenten zu erstellen…

KI-Agenten-Builder
Top 250 KI-Apps ansehen
1 von 8