Description
Portal2Bench est un benchmark spécialisé conçu pour évaluer les capacités de résolution de problèmes des agents IA dans l'environnement complexe de Portal 2 de Valve. La plateforme mesure l'efficacité avec laquelle les agents IA peuvent naviguer et compléter une série de 26 chambres d'essai distinctes, tirées des chapitres 2 à 5 du jeu. Chaque chambre représente un nouveau défi indépendant pour l'agent.
Lire la suite
La méthodologie de base consiste à mettre en pause Portal 2 pendant que le modèle IA traite les informations et formule ses prochaines actions. L'agent interagit avec le jeu en envoyant des pressions de touches et des rotations de vue, recevant des retours en temps réel sous forme de captures d'écran et de sa position actuelle dans le monde du jeu. Pour garantir une évaluation équitable et contrôlée, les agents disposent d'un 'dossier de notes' limité pour le traitement interne, mais n'ont strictement pas accès à des ressources externes telles qu'un shell, le web ou une console.
Une chambre est considérée comme 'résolue' uniquement si l'agent IA atteint avec succès la carte suivante dans des limites strictes : un maximum de 300 'plans' (probablement des actions ou des étapes de calcul) et un plafond de coût de 30 $, calculé sur la base des prix de liste API pour l'utilisation du modèle. Cette double contrainte souligne à la fois l'efficacité et la viabilité économique de la performance des agents IA.
Portal2Bench aborde également les préoccupations concernant la 'tricherie' en mettant en œuvre des contrôles QA robustes. Les agents sont confinés à leur dossier de notes désigné, empêchant toute interaction externe non autorisée. En cas de 'mort' d'un agent dans le jeu, il réapparaît au dernier point de contrôle, reflétant le gameplay normal de Portal 2, et est simplement informé de sa mort sans contexte supplémentaire. Le benchmark précise qu'il n'est pas affilié à Valve et n'est pas soutenu par celle-ci, garantissant ainsi son objectif de recherche indépendant.
- CatégorieCréateurs d'agents IA
- Modèle tarifaireAPI List Prices
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de Portal2Bench
Évaluation de la performance des agents IA pour Portal 2
Évaluation à travers 26 chambres d'essai distinctes
Limites strictes sur les plans (300) et le coût (30 $) par chambre
Interaction en temps réel avec le jeu via des pressions de touches et des rotations de vue
Entrée visuelle à travers des captures d'écran et des données de position
Environnement isolé sans accès à un shell, au web ou à une console
Dossier de 'notes' interne pour le traitement de l'agent
Mécanisme de réapparition aux points de contrôle en cas de mort de l'agent
Tarification de la liste API utilisée pour le calcul des coûts
Contrôles QA pour prévenir les actions non autorisées des agents
Suivi des classements pour divers modèles d'IA
Plateforme de recherche indépendante, non affiliée à Valve
Comment utiliser Portal2Bench ?
Comprendre l'objectif : Apprenez que Portal2Bench évalue la capacité des agents IA à résoudre les chambres d'essai de Portal 2.
Examiner les critères de benchmarking : Notez que le succès est défini par la résolution d'une chambre dans 300 plans et une limite de coût de 30 $.
Observer l'interaction de l'agent : Voyez comment les agents envoient des touches et des rotations de vue tout en recevant des captures d'écran et des données de position.
Vérifier la performance du modèle : Consultez le classement pour comparer la performance des différents modèles d'IA sur le benchmark.
Analyser le coût et l'efficacité : Examinez le coût par chambre, les plans par chambre et les métriques de temps par chambre pour obtenir des informations.
Cas d'utilisation de Portal2Bench
- Évaluation de la performance des agents IA
- Recherche sur l'IA de jeu
- Benchmarking comparatif de l'IA
- Analyse de coût-efficacité des modèles d'IA
- Planification et développement de stratégies d'IA






