Descripción
Portal2Bench es un benchmark especializado diseñado para evaluar las capacidades de resolución de problemas de los agentes de IA dentro del intrincado entorno de Portal 2 de Valve. La plataforma mide cuán efectivamente los agentes de IA pueden navegar y completar una serie de 26 cámaras de prueba distintas, extraídas de los capítulos 2 a 5 del juego. Cada cámara representa un nuevo desafío independiente para el agente.
Leer más
La metodología central implica pausar Portal 2 mientras el modelo de IA procesa información y formula sus próximas acciones. El agente interactúa con el juego enviando pulsaciones de teclas y giros de vista, recibiendo retroalimentación en tiempo real en forma de capturas de pantalla y su posición actual dentro del mundo del juego. Para asegurar una evaluación justa y controlada, se proporciona a los agentes una 'carpeta de notas' limitada para el procesamiento interno, pero se les niega estrictamente el acceso a recursos externos como una consola, web o shell.
Una cámara se considera 'resuelta' solo si el agente de IA alcanza con éxito el siguiente mapa dentro de límites estrictos: un máximo de 300 'planes' (presumiblemente acciones o pasos computacionales) y un límite de costo de $30, calculado en función de los precios de lista de la API para el uso del modelo. Esta doble restricción enfatiza tanto la eficiencia como la viabilidad económica en el rendimiento del agente de IA.
Portal2Bench también aborda preocupaciones sobre el 'engaño' implementando controles de calidad robustos. Los agentes están confinados a su carpeta de notas designada, lo que impide cualquier interacción externa no autorizada. En caso de que un agente 'muera' en el juego, reaparece en el último punto de control, reflejando la jugabilidad normal de Portal 2, y se le informa simplemente de su fallecimiento sin contexto adicional. El benchmark declara explícitamente que no está afiliado ni respaldado por Valve, asegurando su enfoque de investigación independiente.
- CategoríaCreadores de agentes de IA
- Modelo de preciosAPI List Prices
- ImplementaciónNube
- PlataformasWeb
Características principales de Portal2Bench
Evaluación del rendimiento de agentes de IA para Portal 2
Evaluación a través de 26 cámaras de prueba distintas
Límites estrictos en planes (300) y costo ($30) por cámara
Interacción en tiempo real con el juego a través de pulsaciones de teclas y giros de vista
Entrada visual a través de capturas de pantalla y datos de posición
Entorno aislado sin acceso a shell, web o consola
Carpeta de 'notas' interna para el procesamiento del agente
Mecanismo de reaparición en puntos de control tras la muerte del agente
Precios de lista de API utilizados para el cálculo de costos
Controles de calidad para prevenir acciones no autorizadas del agente
Seguimiento de clasificaciones para varios modelos de IA
Plataforma de investigación independiente, no afiliada a Valve
¿Cómo usar Portal2Bench?
Entender el objetivo: Aprender que Portal2Bench evalúa la capacidad de los agentes de IA para resolver cámaras de prueba de Portal 2.
Revisar los criterios de benchmarking: Notar que el éxito se define al resolver una cámara dentro de 300 planes y un límite de costo de $30.
Observar la interacción del agente: Ver cómo los agentes envían teclas y giros de vista mientras reciben capturas de pantalla y datos de posición.
Verificar el rendimiento del modelo: Consultar la tabla de clasificación para comparar cómo diferentes modelos de IA se desempeñan en el benchmark.
Analizar costo y eficiencia: Examinar el costo por cámara, planes por cámara y métricas de tiempo por cámara para obtener información.
Casos de uso de Portal2Bench
- Evaluación del rendimiento de agentes de IA
- Investigación en IA de juegos
- Benchmarking comparativo de IA
- Análisis de costo-eficiencia de modelos de IA
- Desarrollo de planificación y estrategia de IA






