Windows Agent Arena

El framework soporta el despliegue de agentes a escala, aprovechando la infraestructura en la nube de Azure ML para la ejecución paralela. Esto permite evaluar cientos de tareas en minutos en lugar de días. WAA incluye más de 154 tareas diversas que abarcan cargas de trabajo comunes de Windows, como la edición de documentos (LibreOffice Calc/Writer), la navegación por Internet (Microsoft Edge, Google Chrome), tareas del sistema (Explorador de archivos, Configuración), codificación (Visual Studio Code), reproducción multimedia (VLC Player) y funciones de utilidad (Bloc de notas, Reloj, Paint). La evaluación de tareas es determinista, con scripts personalizados que generan recompensas al final de cada episodio.

En su núcleo, WAA utiliza un contenedor Docker que aloja una VM de Windows 11. Un servidor Python Flask actúa como intermediario, ejecutando comandos dentro de la VM y devolviendo observaciones. Para la paralelización escalable en la nube, se emplean trabajos de Azure Machine Learning, distribuyendo las tareas de manera uniforme entre las instancias de cómputo y agregando los resultados. Esta infraestructura soporta la ejecución local flexible durante la creación de prototipos y una sólida evaluación basada en la nube.

Para demostrar las capacidades de WAA, se introdujo el agente Navi. Navi utiliza el prompting de cadena de pensamiento para razonar sobre el estado de la computadora, las acciones pasadas y decidir el siguiente paso. Su entrada incluye el título de la ventana activa, los títulos de todas las ventanas/pestañas abiertas y una representación de pantalla procesada a través de varios métodos como el análisis del árbol UIA, el análisis del árbol DOM, OCR, la detección de iconos/imágenes y OmniParser. Los resultados iniciales muestran que, si bien los modelos actuales logran un rendimiento inferior al de los humanos, la calidad de la representación de la pantalla impacta significativamente el éxito del agente, con el análisis del árbol UIA y la subtitulación de iconos de OmniParser mostrando mejoras en el rendimiento.

WAA es un recurso valioso para investigadores y desarrolladores que buscan avanzar en el campo de los agentes de IA, particularmente aquellos que operan en entornos de escritorio complejos. Facilita pruebas rigurosas, análisis comparativos de arquitecturas de agentes y la generación de información para el desarrollo futuro de agentes.