Windows Agent Arena

Le framework prend en charge le déploiement d'agents à grande échelle, en tirant parti de l'infrastructure cloud Azure ML pour l'exécution parallèle. Cela permet de comparer des centaines de tâches en quelques minutes plutôt qu'en plusieurs jours. WAA comprend plus de 154 tâches diverses couvrant les charges de travail Windows courantes telles que l'édition de documents (LibreOffice Calc/Writer), la navigation sur Internet (Microsoft Edge, Google Chrome), les tâches système (Explorateur de fichiers, Paramètres), le codage (Visual Studio Code), la lecture multimédia (VLC Player) et les fonctions utilitaires (Bloc-notes, Horloge, Paint). L'évaluation des tâches est déterministe, avec des scripts personnalisés générant des récompenses à la fin de chaque épisode.

Au cœur de WAA se trouve un conteneur Docker hébergeant une VM Windows 11. Un serveur Python Flask agit comme intermédiaire, exécutant des commandes dans la VM et renvoyant des observations. Pour la parallélisation cloud évolutive, des jobs Azure Machine Learning sont utilisés, distribuant les tâches uniformément entre les instances de calcul et agrégeant les résultats. Cette infrastructure prend en charge l'exécution locale flexible pendant le prototypage et un benchmarking robuste basé sur le cloud.

Pour démontrer les capacités de WAA, l'agent Navi a été introduit. Navi utilise le prompting par chaîne de pensée pour raisonner sur l'état de l'ordinateur, les actions passées et décider de la prochaine étape. Son entrée comprend le titre de la fenêtre active, les titres de toutes les fenêtres/onglets ouverts, et une représentation de l'écran traitée par diverses méthodes telles que l'analyse de l'arbre UIA, l'analyse de l'arbre DOM, l'OCR, la détection d'icônes/images et OmniParser. Les résultats initiaux montrent que si les modèles actuels atteignent des performances inférieures à celles des humains, la qualité de la représentation de l'écran a un impact significatif sur le succès de l'agent, l'analyse de l'arbre UIA et le titrage des icônes d'OmniParser montrant des améliorations de performance.

WAA est une ressource précieuse pour les chercheurs et les développeurs qui visent à faire progresser le domaine des agents IA, en particulier ceux qui opèrent dans des environnements de bureau complexes. Il facilite des tests rigoureux, une analyse comparative des architectures d'agents et la génération d'informations pour le développement futur d'agents.