Descrição
Portal2Bench é um benchmark especializado projetado para avaliar as capacidades de resolução de problemas de agentes de IA dentro do intrincado ambiente de Portal 2 da Valve. A plataforma mede quão efetivamente os agentes de IA podem navegar e completar uma série de 26 câmaras de teste distintas, extraídas dos capítulos 2 a 5 do jogo. Cada câmara representa um novo desafio independente para o agente.
Ler mais
A metodologia central envolve pausar Portal 2 enquanto o modelo de IA processa informações e formula suas próximas ações. O agente interage com o jogo enviando pressionamentos de tecla e viradas de visão, recebendo feedback em tempo real na forma de capturas de tela e sua posição atual dentro do mundo do jogo. Para garantir uma avaliação justa e controlada, os agentes têm acesso a uma 'pasta de notas' limitada para processamento interno, mas têm estritamente negado o acesso a recursos externos como shell, web ou console.
Uma câmara é considerada 'resolvida' apenas se o agente de IA alcançar com sucesso o próximo mapa dentro de limites rigorosos: um máximo de 300 'planos' (presumivelmente ações ou etapas computacionais) e um teto de custo de $30, calculado com base nos preços de lista da API para uso do modelo. Essa dupla restrição enfatiza tanto a eficiência quanto a viabilidade econômica no desempenho do agente de IA.
Portal2Bench também aborda preocupações sobre 'trapaça' implementando verificações de QA robustas. Os agentes são confinados à sua pasta de notas designada, impedindo qualquer interação externa não autorizada. No caso da 'morte' de um agente no jogo, ele renasce no último ponto de verificação, espelhando a jogabilidade normal de Portal 2, e é simplesmente informado de sua morte sem contexto adicional. O benchmark afirma explicitamente que não está afiliado ou endossado pela Valve, garantindo seu foco de pesquisa independente.
- CategoriaCriadores de agentes de IA
- Modelo de preçosAPI List Prices
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de Portal2Bench
Benchmark de Desempenho de Agentes de IA para Portal 2
Avaliação em 26 câmaras de teste distintas
Limites rigorosos em planos (300) e custo ($30) por câmara
Interação em tempo real com o jogo via pressionamentos de tecla e viradas de visão
Entrada visual através de capturas de tela e dados de posição
Ambiente isolado sem acesso a shell, web ou console
Pasta de 'notas' interna para processamento do agente
Mecanismo de renascimento em pontos de verificação após a morte do agente
Preços de lista da API usados para cálculo de custo
Verificações de QA para prevenir ações não autorizadas do agente
Rastreamento de leaderboard para vários modelos de IA
Plataforma de pesquisa independente, não afiliada à Valve
Como usar Portal2Bench?
Entenda o Objetivo: Aprenda que Portal2Bench avalia a capacidade dos agentes de IA para resolver câmaras de teste de Portal 2.
Revise os Critérios de Benchmarking: Note que o sucesso é definido pela resolução de uma câmara dentro de 300 planos e um limite de custo de $30.
Observe a Interação do Agente: Veja como os agentes enviam teclas e viradas de visão enquanto recebem capturas de tela e dados de posição.
Verifique o Desempenho do Modelo: Veja o leaderboard para comparar como diferentes modelos de IA se saem no benchmark.
Analise Custo e Eficiência: Examine o custo por câmara, planos por câmara e métricas de tempo por câmara para obter insights.
Casos de uso de Portal2Bench
- Avaliação de Desempenho de Agentes de IA
- Pesquisa em IA de Jogos
- Benchmarking Comparativo de IA
- Análise de Custo-Eficiência de Modelos de IA
- Desenvolvimento de Planejamento e Estratégia de IA






