Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

Portal2Bench

Portal2Bench est un benchmark qui évalue la capacité des agents IA à résoudre des chambres d'essai dans le jeu vidéo Portal 2. Il mesure la performance des agents en suivant les taux de réussite, le coût par exécution et les plans exécutés, avec des limites strictes sur les ressources et les actions. Cette plateforme fournit un environnement standardisé pour comparer les capacités de résolution de problèmes de différents modèles d'IA dans un monde virtuel complexe.

Visiter l'URL
Partager
Capture d’écran de Portal2Bench
Capture d’écran de Portal2Bench

Portal2Bench est un benchmark spécialisé conçu pour évaluer les capacités de résolution de problèmes des agents IA dans l'environnement complexe de Portal 2 de Valve. La plateforme mesure l'efficacité avec laquelle les agents IA peuvent naviguer et compléter une série de 26 chambres d'essai distinctes, tirées des chapitres 2 à 5 du jeu. Chaque chambre représente un nouveau défi indépendant pour l'agent.

Lire la suite

La méthodologie de base consiste à mettre en pause Portal 2 pendant que le modèle IA traite les informations et formule ses prochaines actions. L'agent interagit avec le jeu en envoyant des pressions de touches et des rotations de vue, recevant des retours en temps réel sous forme de captures d'écran et de sa position actuelle dans le monde du jeu. Pour garantir une évaluation équitable et contrôlée, les agents disposent d'un 'dossier de notes' limité pour le traitement interne, mais n'ont strictement pas accès à des ressources externes telles qu'un shell, le web ou une console.

Une chambre est considérée comme 'résolue' uniquement si l'agent IA atteint avec succès la carte suivante dans des limites strictes : un maximum de 300 'plans' (probablement des actions ou des étapes de calcul) et un plafond de coût de 30 $, calculé sur la base des prix de liste API pour l'utilisation du modèle. Cette double contrainte souligne à la fois l'efficacité et la viabilité économique de la performance des agents IA.

Portal2Bench aborde également les préoccupations concernant la 'tricherie' en mettant en œuvre des contrôles QA robustes. Les agents sont confinés à leur dossier de notes désigné, empêchant toute interaction externe non autorisée. En cas de 'mort' d'un agent dans le jeu, il réapparaît au dernier point de contrôle, reflétant le gameplay normal de Portal 2, et est simplement informé de sa mort sans contexte supplémentaire. Le benchmark précise qu'il n'est pas affilié à Valve et n'est pas soutenu par celle-ci, garantissant ainsi son objectif de recherche indépendant.

  • CatégorieCréateurs d'agents IA
  • Modèle tarifaireAPI List Prices
  • DéploiementCloud
  • PlateformesWeb

  • Évaluation de la performance des agents IA pour Portal 2

  • Évaluation à travers 26 chambres d'essai distinctes

  • Limites strictes sur les plans (300) et le coût (30 $) par chambre

  • Interaction en temps réel avec le jeu via des pressions de touches et des rotations de vue

  • Entrée visuelle à travers des captures d'écran et des données de position

  • Environnement isolé sans accès à un shell, au web ou à une console

  • Dossier de 'notes' interne pour le traitement de l'agent

  • Mécanisme de réapparition aux points de contrôle en cas de mort de l'agent

  • Tarification de la liste API utilisée pour le calcul des coûts

  • Contrôles QA pour prévenir les actions non autorisées des agents

  • Suivi des classements pour divers modèles d'IA

  • Plateforme de recherche indépendante, non affiliée à Valve

  1. Comprendre l'objectif : Apprenez que Portal2Bench évalue la capacité des agents IA à résoudre les chambres d'essai de Portal 2.

  2. Examiner les critères de benchmarking : Notez que le succès est défini par la résolution d'une chambre dans 300 plans et une limite de coût de 30 $.

  3. Observer l'interaction de l'agent : Voyez comment les agents envoient des touches et des rotations de vue tout en recevant des captures d'écran et des données de position.

  4. Vérifier la performance du modèle : Consultez le classement pour comparer la performance des différents modèles d'IA sur le benchmark.

  5. Analyser le coût et l'efficacité : Examinez le coût par chambre, les plans par chambre et les métriques de temps par chambre pour obtenir des informations.

  • Évaluation de la performance des agents IA
  • Recherche sur l'IA de jeu
  • Benchmarking comparatif de l'IA
  • Analyse de coût-efficacité des modèles d'IA
  • Planification et développement de stratégies d'IA

Avis sur Portal2Bench

Chargement...

Outils IA populaires comme Portal2Bench

Sketch Stadium

Applications IA

Sketch Stadium est une plateforme en ligne conçue pour connecter et jouer à des jeux avec des agents IA. Elle fournit un environnement où les utilisateurs peuvent intégrer leurs…

Outils IA de développement de jeuxJeux vidéo et e-sport
Voir l'outil

Applications IA

Plateforme en ligne conçue pour connecter et jouer à des jeux avec des agents IA. Elle fournit un environnement où les utilisateurs peuvent intégrer leurs…Sketch Stadium est une plateforme en ligne conçue pour connecter et jouer à des jeux avec des agents IA. Elle fournit un environnement où les utilisateurs peuvent intégrer leurs…

Outils IA de développement de jeuxJeux vidéo et e-sport
Voir le Top 250 Applications IA

nunu.ai automatise le test de jeux avec des agents IA, réduisant les coûts de travail manuel jusqu'à 50 %. Il offre une interface semblable à celle d'un humain et prend en charge…

Revue de code et tests IAJeux vidéo et e-sport

N°104 en Revue de code et tests IA

Voir l'outil

Automatise le test de jeux avec des agents IA, réduisant les coûts de travail manuel jusqu'à 50 %. Il offre une interface semblable à celle d'un humain et prend en charge…nunu.ai automatise le test de jeux avec des agents IA, réduisant les coûts de travail manuel jusqu'à 50 %. Il offre une interface semblable à celle d'un humain et prend en charge…

Revue de code et tests IAJeux vidéo et e-sport
N°104 en Revue de code et tests IA

Otto

Applications IA

Otto est un agent IA terminal qui évalue son propre travail selon des critères prédéfinis. Il fonctionne sur diverses plateformes, y compris des bases de code et des navigateurs,…

Créateurs d'agents IA

N°57 en Automatisation navigateur et web

Voir l'outil

Applications IA

Agent IA terminal qui évalue son propre travail selon des critères prédéfinis. Il fonctionne sur diverses plateformes, y compris des bases de code et des navigateurs,…Otto est un agent IA terminal qui évalue son propre travail selon des critères prédéfinis. Il fonctionne sur diverses plateformes, y compris des bases de code et des navigateurs,…

Créateurs d'agents IA
N°57 en Automatisation navigateur et web

Windows Agent Arena

Frameworks IA

Windows Agent Arena (WAA) est un framework open-source évolutif pour l'évaluation d'agents IA multimodaux sur le système d'exploitation Windows. Il fournit un environnement…

Créateurs d'agents IA
Voir l'outil

Frameworks IA

Framework open-source évolutif pour l'évaluation d'agents IA multimodaux sur le système d'exploitation Windows. Il fournit un environnement…Windows Agent Arena (WAA) est un framework open-source évolutif pour l'évaluation d'agents IA multimodaux sur le système d'exploitation Windows. Il fournit un environnement…

Créateurs d'agents IA
Voir le Top 50 Frameworks IA

Agent AI Tabloy

Applications IA

L'Agent AI Tabloy est un outil AI polyvalent qui crée des applications, des sites web et des jeux 3D, génère des documents et des vidéos, et effectue des recherches sur le web. Il…

Créateurs d'agents IA

N°196 en Créateurs de sites web IA

Voir l'outil

Applications IA

L'Agent AI Tabloy est un outil AI polyvalent qui crée des applications, des sites web et des jeux 3D, génère des documents et des vidéos, et effectue des recherches sur le web. Il…

Créateurs d'agents IA
N°196 en Créateurs de sites web IA

WorldClaw

Applications IA

WorldClaw est un système d'exploitation pour agents IA, offrant un accès à plus de 300 modèles IA via WorldRouter. Il propose des forfaits de jetons compétitifs et permet aux…

Créateurs d'agents IA

N°173 en Automatisation et agents

Voir l'outil

Applications IA

Système d'exploitation pour agents IA, offrant un accès à plus de 300 modèles IA via WorldRouter. Il propose des forfaits de jetons compétitifs et permet aux…WorldClaw est un système d'exploitation pour agents IA, offrant un accès à plus de 300 modèles IA via WorldRouter. Il propose des forfaits de jetons compétitifs et permet aux…

Créateurs d'agents IA
N°173 en Automatisation et agents

modl.ai

Applications IA

modl.ai utilise des agents et des analystes IA pour automatiser les tests de jeux et l'assurance qualité (AQ), permettant aux équipes de détecter plus rapidement les bugs, les…

Outils IA de développement de jeuxJeux vidéo et e-sport

N°20 en Jeux et divertissement

Voir l'outil

Applications IA

Utilise des agents et des analystes IA pour automatiser les tests de jeux et l'assurance qualité (AQ), permettant aux équipes de détecter plus rapidement les bugs, les…modl.ai utilise des agents et des analystes IA pour automatiser les tests de jeux et l'assurance qualité (AQ), permettant aux équipes de détecter plus rapidement les bugs, les…

Outils IA de développement de jeuxJeux vidéo et e-sport
N°20 en Jeux et divertissement

Cadenya

Applications IA

Cadenya est une plateforme d'exécution d'agents qui intègre des outils, des agents et des objectifs pour améliorer les tests et l'efficacité. Elle permet aux utilisateurs de créer…

Créateurs d'agents IA
Voir l'outil

Applications IA

Plateforme d'exécution d'agents qui intègre des outils, des agents et des objectifs pour améliorer les tests et l'efficacité. Elle permet aux utilisateurs de créer…Cadenya est une plateforme d'exécution d'agents qui intègre des outils, des agents et des objectifs pour améliorer les tests et l'efficacité. Elle permet aux utilisateurs de créer…

Créateurs d'agents IA
Voir le Top 250 Applications IA
1 sur 8