Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

Portal2Bench

Portal2Bench es un benchmark que evalúa la capacidad de los agentes de IA para resolver cámaras de prueba en el videojuego Portal 2. Mide el rendimiento del agente al rastrear tasas de éxito, costo por ejecución y planes ejecutados, con límites estrictos en recursos y acciones. Esta plataforma proporciona un entorno estandarizado para comparar las capacidades de resolución de problemas de diferentes modelos de IA en un mundo virtual complejo.

Visitar URL
Compartir
Captura de pantalla de Portal2Bench
Captura de pantalla de Portal2Bench

Portal2Bench es un benchmark especializado diseñado para evaluar las capacidades de resolución de problemas de los agentes de IA dentro del intrincado entorno de Portal 2 de Valve. La plataforma mide cuán efectivamente los agentes de IA pueden navegar y completar una serie de 26 cámaras de prueba distintas, extraídas de los capítulos 2 a 5 del juego. Cada cámara representa un nuevo desafío independiente para el agente.

Leer más

La metodología central implica pausar Portal 2 mientras el modelo de IA procesa información y formula sus próximas acciones. El agente interactúa con el juego enviando pulsaciones de teclas y giros de vista, recibiendo retroalimentación en tiempo real en forma de capturas de pantalla y su posición actual dentro del mundo del juego. Para asegurar una evaluación justa y controlada, se proporciona a los agentes una 'carpeta de notas' limitada para el procesamiento interno, pero se les niega estrictamente el acceso a recursos externos como una consola, web o shell.

Una cámara se considera 'resuelta' solo si el agente de IA alcanza con éxito el siguiente mapa dentro de límites estrictos: un máximo de 300 'planes' (presumiblemente acciones o pasos computacionales) y un límite de costo de $30, calculado en función de los precios de lista de la API para el uso del modelo. Esta doble restricción enfatiza tanto la eficiencia como la viabilidad económica en el rendimiento del agente de IA.

Portal2Bench también aborda preocupaciones sobre el 'engaño' implementando controles de calidad robustos. Los agentes están confinados a su carpeta de notas designada, lo que impide cualquier interacción externa no autorizada. En caso de que un agente 'muera' en el juego, reaparece en el último punto de control, reflejando la jugabilidad normal de Portal 2, y se le informa simplemente de su fallecimiento sin contexto adicional. El benchmark declara explícitamente que no está afiliado ni respaldado por Valve, asegurando su enfoque de investigación independiente.

  • CategoríaCreadores de agentes de IA
  • Modelo de preciosAPI List Prices
  • ImplementaciónNube
  • PlataformasWeb

  • Evaluación del rendimiento de agentes de IA para Portal 2

  • Evaluación a través de 26 cámaras de prueba distintas

  • Límites estrictos en planes (300) y costo ($30) por cámara

  • Interacción en tiempo real con el juego a través de pulsaciones de teclas y giros de vista

  • Entrada visual a través de capturas de pantalla y datos de posición

  • Entorno aislado sin acceso a shell, web o consola

  • Carpeta de 'notas' interna para el procesamiento del agente

  • Mecanismo de reaparición en puntos de control tras la muerte del agente

  • Precios de lista de API utilizados para el cálculo de costos

  • Controles de calidad para prevenir acciones no autorizadas del agente

  • Seguimiento de clasificaciones para varios modelos de IA

  • Plataforma de investigación independiente, no afiliada a Valve

  1. Entender el objetivo: Aprender que Portal2Bench evalúa la capacidad de los agentes de IA para resolver cámaras de prueba de Portal 2.

  2. Revisar los criterios de benchmarking: Notar que el éxito se define al resolver una cámara dentro de 300 planes y un límite de costo de $30.

  3. Observar la interacción del agente: Ver cómo los agentes envían teclas y giros de vista mientras reciben capturas de pantalla y datos de posición.

  4. Verificar el rendimiento del modelo: Consultar la tabla de clasificación para comparar cómo diferentes modelos de IA se desempeñan en el benchmark.

  5. Analizar costo y eficiencia: Examinar el costo por cámara, planes por cámara y métricas de tiempo por cámara para obtener información.

  • Evaluación del rendimiento de agentes de IA
  • Investigación en IA de juegos
  • Benchmarking comparativo de IA
  • Análisis de costo-eficiencia de modelos de IA
  • Desarrollo de planificación y estrategia de IA

Reseñas de Portal2Bench

Cargando...

Herramientas de IA populares como Portal2Bench

Sketch Stadium

Apps de IA

Sketch Stadium es una plataforma en línea diseñada para conectar y jugar juegos con agentes de IA. Proporciona un entorno donde los usuarios pueden integrar sus agentes…

Herramientas de desarrollo de juegos con IAVideojuegos y esports
Ver herramienta

Apps de IA

Plataforma en línea diseñada para conectar y jugar juegos con agentes de IA. Proporciona un entorno donde los usuarios pueden integrar sus agentes…Sketch Stadium es una plataforma en línea diseñada para conectar y jugar juegos con agentes de IA. Proporciona un entorno donde los usuarios pueden integrar sus agentes…

Herramientas de desarrollo de juegos con IAVideojuegos y esports
Ver el Top 250 de Apps de IA

nunu.ai automatiza las pruebas de juegos con agentes de IA, reduciendo los costos de trabajo manual en hasta un 50%. Ofrece una interfaz similar a la humana y soporta múltiples…

Revisión de código y pruebas con IAVideojuegos y esports

N.º 106 en Revisión de código y pruebas con IA

Ver herramienta

Automatiza las pruebas de juegos con agentes de IA, reduciendo los costos de trabajo manual en hasta un 50%. Ofrece una interfaz similar a la humana y soporta múltiples…nunu.ai automatiza las pruebas de juegos con agentes de IA, reduciendo los costos de trabajo manual en hasta un 50%. Ofrece una interfaz similar a la humana y soporta múltiples…

Revisión de código y pruebas con IAVideojuegos y esports
N.º 106 en Revisión de código y pruebas con IA

Otto

Apps de IA

Otto es un agente de IA terminal que evalúa su propio trabajo en función de criterios predefinidos. Opera en varias plataformas, incluyendo bases de código y navegadores,…

Creadores de agentes de IA

N.º 63 en Automatización de navegador y web

Ver herramienta

Apps de IA

Agente de IA terminal que evalúa su propio trabajo en función de criterios predefinidos. Opera en varias plataformas, incluyendo bases de código y navegadores,…Otto es un agente de IA terminal que evalúa su propio trabajo en función de criterios predefinidos. Opera en varias plataformas, incluyendo bases de código y navegadores,…

Creadores de agentes de IA
N.º 63 en Automatización de navegador y web

Windows Agent Arena

Frameworks de IA

Windows Agent Arena (WAA) es un framework escalable y de código abierto para evaluar agentes de IA multimodales en el sistema operativo Windows. Proporciona un entorno realista…

Creadores de agentes de IA
Ver herramienta

Frameworks de IA

Framework escalable y de código abierto para evaluar agentes de IA multimodales en el sistema operativo Windows. Proporciona un entorno realista…Windows Agent Arena (WAA) es un framework escalable y de código abierto para evaluar agentes de IA multimodales en el sistema operativo Windows. Proporciona un entorno realista…

Creadores de agentes de IA
Ver el Top 50 de Frameworks de IA

Tabloy AI Agent

Apps de IA

Tabloy AI Agent es una herramienta de IA versátil que construye aplicaciones, sitios web y juegos en 3D, crea documentos y videos, y realiza investigaciones en la web. Funciona…

Creadores de agentes de IA

N.º 197 en Creadores de sitios web con IA

Ver herramienta

Apps de IA

Herramienta de IA versátil que construye aplicaciones, sitios web y juegos en 3D, crea documentos y videos, y realiza investigaciones en la web. Funciona…Tabloy AI Agent es una herramienta de IA versátil que construye aplicaciones, sitios web y juegos en 3D, crea documentos y videos, y realiza investigaciones en la web. Funciona…

Creadores de agentes de IA
N.º 197 en Creadores de sitios web con IA

WorldClaw

Apps de IA

WorldClaw es un sistema operativo para agentes de IA, que proporciona acceso a más de 300 modelos de IA a través de WorldRouter. Ofrece paquetes de tokens competitivos y permite a…

Creadores de agentes de IA

N.º 174 en Automatización y agentes

Ver herramienta

Apps de IA

Sistema operativo para agentes de IA, que proporciona acceso a más de 300 modelos de IA a través de WorldRouter. Ofrece paquetes de tokens competitivos y permite a…WorldClaw es un sistema operativo para agentes de IA, que proporciona acceso a más de 300 modelos de IA a través de WorldRouter. Ofrece paquetes de tokens competitivos y permite a…

Creadores de agentes de IA
N.º 174 en Automatización y agentes

modl.ai

Apps de IA

modl.ai utiliza agentes y analistas de IA para automatizar las pruebas de juegos y la garantía de calidad (QA), permitiendo a los equipos encontrar errores, fallos y problemas de…

Herramientas de desarrollo de juegos con IAVideojuegos y esports

N.º 19 en Videojuegos y entretenimiento

Ver herramienta

Apps de IA

Utiliza agentes y analistas de IA para automatizar las pruebas de juegos y la garantía de calidad (QA), permitiendo a los equipos encontrar errores, fallos y problemas de…modl.ai utiliza agentes y analistas de IA para automatizar las pruebas de juegos y la garantía de calidad (QA), permitiendo a los equipos encontrar errores, fallos y problemas de…

Herramientas de desarrollo de juegos con IAVideojuegos y esports
N.º 19 en Videojuegos y entretenimiento

Cadenya

Apps de IA

Cadenya es una plataforma de ejecución de agentes que integra herramientas, agentes y objetivos para mejorar las pruebas y la eficiencia. Permite a los usuarios construir y…

Creadores de agentes de IA
Ver herramienta

Apps de IA

Plataforma de ejecución de agentes que integra herramientas, agentes y objetivos para mejorar las pruebas y la eficiencia. Permite a los usuarios construir y…Cadenya es una plataforma de ejecución de agentes que integra herramientas, agentes y objetivos para mejorar las pruebas y la eficiencia. Permite a los usuarios construir y…

Creadores de agentes de IA
Ver el Top 250 de Apps de IA
1 de 8