Descripción
Windows Agent Arena (WAA) es un framework novedoso y de código abierto diseñado para abordar los desafíos en la evaluación y el desarrollo de agentes de IA capaces de razonar, planificar y actuar dentro de un sistema operativo Windows real. Los benchmarks tradicionales a menudo se centran en modalidades o dominios limitados y consumen mucho tiempo, requiriendo días para evaluaciones completas debido a la naturaleza secuencial de las tareas. WAA ofrece un entorno reproducible y realista del sistema operativo Windows donde los agentes de IA pueden interactuar con una amplia gama de aplicaciones, herramientas y navegadores web, reflejando las experiencias de los usuarios humanos.
El framework soporta el despliegue de agentes a escala, aprovechando la infraestructura en la nube de Azure ML para la ejecución paralela. Esto permite evaluar cientos de tareas en minutos en lugar de días. WAA incluye más de 154 tareas diversas que abarcan cargas de trabajo comunes de Windows, como la edición de documentos (LibreOffice Calc/Writer), la navegación por Internet (Microsoft Edge, Google Chrome), tareas del sistema (Explorador de archivos, Configuración), codificación (Visual Studio Code), reproducción multimedia (VLC Player) y funciones de utilidad (Bloc de notas, Reloj, Paint). La evaluación de tareas es determinista, con scripts personalizados que generan recompensas al final de cada episodio.
En su núcleo, WAA utiliza un contenedor Docker que aloja una VM de Windows 11. Un servidor Python Flask actúa como intermediario, ejecutando comandos dentro de la VM y devolviendo observaciones. Para la paralelización escalable en la nube, se emplean trabajos de Azure Machine Learning, distribuyendo las tareas de manera uniforme entre las instancias de cómputo y agregando los resultados. Esta infraestructura soporta la ejecución local flexible durante la creación de prototipos y una sólida evaluación basada en la nube.
Para demostrar las capacidades de WAA, se introdujo el agente Navi. Navi utiliza el prompting de cadena de pensamiento para razonar sobre el estado de la computadora, las acciones pasadas y decidir el siguiente paso. Su entrada incluye el título de la ventana activa, los títulos de todas las ventanas/pestañas abiertas y una representación de pantalla procesada a través de varios métodos como el análisis del árbol UIA, el análisis del árbol DOM, OCR, la detección de iconos/imágenes y OmniParser. Los resultados iniciales muestran que, si bien los modelos actuales logran un rendimiento inferior al de los humanos, la calidad de la representación de la pantalla impacta significativamente el éxito del agente, con el análisis del árbol UIA y la subtitulación de iconos de OmniParser mostrando mejoras en el rendimiento.
WAA es un recurso valioso para investigadores y desarrolladores que buscan avanzar en el campo de los agentes de IA, particularmente aquellos que operan en entornos de escritorio complejos. Facilita pruebas rigurosas, análisis comparativos de arquitecturas de agentes y la generación de información para el desarrollo futuro de agentes.
Características principales de Windows Agent Arena
Entorno escalable de sistema operativo Windows para agentes de IA
Interacción realista de escritorio con diversas aplicaciones
Soporta agentes de IA multimodales
Evaluación de flujos de trabajo agénticos
Ejecución paralela a través de Azure ML
154 tareas diversas de Windows
Evaluación determinista de tareas
Prompting de cadena de pensamiento para agentes
Múltiples métodos de representación de pantalla (UIA, DOM, OCR, Detección de iconos, OmniParser)
Framework de código abierto
Entorno de investigación reproducible
¿Cómo usar Windows Agent Arena?
Configurar el contenedor Docker con VM de Windows 11
Configurar la programación de tareas y el despliegue de agentes
Definir las entradas del agente y los métodos de análisis de pantalla
Ejecutar evaluaciones de benchmark localmente o en Azure ML
Analizar métricas de rendimiento y registros del agente
Casos de uso de Windows Agent Arena
- Evaluación de Agentes de IA
- Investigación de Automatización de Escritorio
- Desarrollo de Agentes Multimodales
- Investigación de IA Reproducible
- Estudios de Interacción Humano-IA
