Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

Portal2Bench

Portal2Bench é um benchmark que avalia a capacidade de agentes de IA para resolver câmaras de teste no videogame Portal 2. Ele mede o desempenho do agente rastreando taxas de sucesso, custo por execução e planos executados, com limites rigorosos em recursos e ações. Esta plataforma fornece um ambiente padronizado para comparar as capacidades de resolução de problemas de diferentes modelos de IA em um mundo virtual complexo.

Visitar URL
Compartilhar
Captura de tela do Portal2Bench
Captura de tela do Portal2Bench

Portal2Bench é um benchmark especializado projetado para avaliar as capacidades de resolução de problemas de agentes de IA dentro do intrincado ambiente de Portal 2 da Valve. A plataforma mede quão efetivamente os agentes de IA podem navegar e completar uma série de 26 câmaras de teste distintas, extraídas dos capítulos 2 a 5 do jogo. Cada câmara representa um novo desafio independente para o agente.

Ler mais

A metodologia central envolve pausar Portal 2 enquanto o modelo de IA processa informações e formula suas próximas ações. O agente interage com o jogo enviando pressionamentos de tecla e viradas de visão, recebendo feedback em tempo real na forma de capturas de tela e sua posição atual dentro do mundo do jogo. Para garantir uma avaliação justa e controlada, os agentes têm acesso a uma 'pasta de notas' limitada para processamento interno, mas têm estritamente negado o acesso a recursos externos como shell, web ou console.

Uma câmara é considerada 'resolvida' apenas se o agente de IA alcançar com sucesso o próximo mapa dentro de limites rigorosos: um máximo de 300 'planos' (presumivelmente ações ou etapas computacionais) e um teto de custo de $30, calculado com base nos preços de lista da API para uso do modelo. Essa dupla restrição enfatiza tanto a eficiência quanto a viabilidade econômica no desempenho do agente de IA.

Portal2Bench também aborda preocupações sobre 'trapaça' implementando verificações de QA robustas. Os agentes são confinados à sua pasta de notas designada, impedindo qualquer interação externa não autorizada. No caso da 'morte' de um agente no jogo, ele renasce no último ponto de verificação, espelhando a jogabilidade normal de Portal 2, e é simplesmente informado de sua morte sem contexto adicional. O benchmark afirma explicitamente que não está afiliado ou endossado pela Valve, garantindo seu foco de pesquisa independente.

  • CategoriaCriadores de agentes de IA
  • Modelo de preçosAPI List Prices
  • ImplantaçãoNuvem
  • PlataformasWeb

  • Benchmark de Desempenho de Agentes de IA para Portal 2

  • Avaliação em 26 câmaras de teste distintas

  • Limites rigorosos em planos (300) e custo ($30) por câmara

  • Interação em tempo real com o jogo via pressionamentos de tecla e viradas de visão

  • Entrada visual através de capturas de tela e dados de posição

  • Ambiente isolado sem acesso a shell, web ou console

  • Pasta de 'notas' interna para processamento do agente

  • Mecanismo de renascimento em pontos de verificação após a morte do agente

  • Preços de lista da API usados para cálculo de custo

  • Verificações de QA para prevenir ações não autorizadas do agente

  • Rastreamento de leaderboard para vários modelos de IA

  • Plataforma de pesquisa independente, não afiliada à Valve

  1. Entenda o Objetivo: Aprenda que Portal2Bench avalia a capacidade dos agentes de IA para resolver câmaras de teste de Portal 2.

  2. Revise os Critérios de Benchmarking: Note que o sucesso é definido pela resolução de uma câmara dentro de 300 planos e um limite de custo de $30.

  3. Observe a Interação do Agente: Veja como os agentes enviam teclas e viradas de visão enquanto recebem capturas de tela e dados de posição.

  4. Verifique o Desempenho do Modelo: Veja o leaderboard para comparar como diferentes modelos de IA se saem no benchmark.

  5. Analise Custo e Eficiência: Examine o custo por câmara, planos por câmara e métricas de tempo por câmara para obter insights.

  • Avaliação de Desempenho de Agentes de IA
  • Pesquisa em IA de Jogos
  • Benchmarking Comparativo de IA
  • Análise de Custo-Eficiência de Modelos de IA
  • Desenvolvimento de Planejamento e Estratégia de IA

Avaliações de Portal2Bench

Carregando...

Ferramentas de IA populares como Portal2Bench

Sketch Stadium

Apps de IA

Sketch Stadium é uma plataforma online projetada para conectar e jogar jogos com agentes de IA. Ela fornece um ambiente onde os usuários podem integrar seus agentes personalizados…

Ferramentas de desenvolvimento de jogos com IAJogos e e-sports
Ver ferramenta

Apps de IA

Plataforma online projetada para conectar e jogar jogos com agentes de IA. Ela fornece um ambiente onde os usuários podem integrar seus agentes personalizados…Sketch Stadium é uma plataforma online projetada para conectar e jogar jogos com agentes de IA. Ela fornece um ambiente onde os usuários podem integrar seus agentes personalizados…

Ferramentas de desenvolvimento de jogos com IAJogos e e-sports
Ver o Top 250 de Apps de IA

nunu.ai automatiza o teste de jogos com agentes de IA, reduzindo os custos de trabalho manual em até 50%. Oferece uma interface semelhante à humana e suporta múltiplas…

Revisão de código e testes com IAJogos e e-sports

Nº 105 em Revisão de código e testes com IA

Ver ferramenta

Automatiza o teste de jogos com agentes de IA, reduzindo os custos de trabalho manual em até 50%. Oferece uma interface semelhante à humana e suporta múltiplas…nunu.ai automatiza o teste de jogos com agentes de IA, reduzindo os custos de trabalho manual em até 50%. Oferece uma interface semelhante à humana e suporta múltiplas…

Revisão de código e testes com IAJogos e e-sports
Nº 105 em Revisão de código e testes com IA

Otto

Apps de IA

Otto é um agente de IA terminal que avalia seu próprio trabalho com base em critérios predefinidos. Ele opera em várias plataformas, incluindo bases de código e navegadores,…

Criadores de agentes de IA

Nº 58 em Automação de navegador e web

Ver ferramenta

Apps de IA

Agente de IA terminal que avalia seu próprio trabalho com base em critérios predefinidos. Ele opera em várias plataformas, incluindo bases de código e navegadores,…Otto é um agente de IA terminal que avalia seu próprio trabalho com base em critérios predefinidos. Ele opera em várias plataformas, incluindo bases de código e navegadores,…

Criadores de agentes de IA
Nº 58 em Automação de navegador e web

Windows Agent Arena

Frameworks de IA

Windows Agent Arena (WAA) é um framework escalável e de código aberto para avaliar agentes de IA multimodais no sistema operacional Windows. Ele fornece um ambiente realista para…

Criadores de agentes de IA
Ver ferramenta

Frameworks de IA

Framework escalável e de código aberto para avaliar agentes de IA multimodais no sistema operacional Windows. Ele fornece um ambiente realista para…Windows Agent Arena (WAA) é um framework escalável e de código aberto para avaliar agentes de IA multimodais no sistema operacional Windows. Ele fornece um ambiente realista para…

Criadores de agentes de IA
Ver o Top 50 de Frameworks de IA

O Agente AI Tabloy é uma ferramenta de IA versátil que cria aplicativos, websites e jogos 3D, gera documentos e vídeos, e realiza pesquisas na web. Ele opera diretamente no seu…

Criadores de agentes de IA

Nº 200 em Assistentes de pesquisa com IA

Ver ferramenta

WorldClaw

Apps de IA

WorldClaw é um sistema operacional para agentes de IA, oferecendo acesso a mais de 300 modelos de IA através do WorldRouter. Ele oferece pacotes de tokens competitivos e permite…

Criadores de agentes de IA

Nº 174 em Automação e agentes

Ver ferramenta

Apps de IA

Sistema operacional para agentes de IA, oferecendo acesso a mais de 300 modelos de IA através do WorldRouter. Ele oferece pacotes de tokens competitivos e permite…WorldClaw é um sistema operacional para agentes de IA, oferecendo acesso a mais de 300 modelos de IA através do WorldRouter. Ele oferece pacotes de tokens competitivos e permite…

Criadores de agentes de IA
Nº 174 em Automação e agentes

modl.ai

Apps de IA

modl.ai utiliza agentes e analistas de IA para automatizar testes de jogos e QA, permitindo que as equipes encontrem bugs, falhas e problemas de desempenho mais rapidamente, sem a…

Ferramentas de desenvolvimento de jogos com IAJogos e e-sports

Nº 19 em Jogos e entretenimento

Ver ferramenta

Apps de IA

Utiliza agentes e analistas de IA para automatizar testes de jogos e QA, permitindo que as equipes encontrem bugs, falhas e problemas de desempenho mais rapidamente, sem a…modl.ai utiliza agentes e analistas de IA para automatizar testes de jogos e QA, permitindo que as equipes encontrem bugs, falhas e problemas de desempenho mais rapidamente, sem a…

Ferramentas de desenvolvimento de jogos com IAJogos e e-sports
Nº 19 em Jogos e entretenimento

Cadenya

Apps de IA

Cadenya é uma plataforma de execução de agentes que integra ferramentas, agentes e objetivos para aprimorar testes e eficiência. Permite que os usuários construam e melhorem…

Criadores de agentes de IA
Ver ferramenta

Apps de IA

Plataforma de execução de agentes que integra ferramentas, agentes e objetivos para aprimorar testes e eficiência. Permite que os usuários construam e melhorem…Cadenya é uma plataforma de execução de agentes que integra ferramentas, agentes e objetivos para aprimorar testes e eficiência. Permite que os usuários construam e melhorem…

Criadores de agentes de IA
Ver o Top 250 de Apps de IA
1 de 8