Windows Agent Arena

O framework suporta a implantação de agentes em escala, aproveitando a infraestrutura de nuvem do Azure ML para execução paralela. Isso permite que centenas de tarefas sejam comparadas em minutos em vez de dias. O WAA inclui mais de 154 tarefas diversas que abrangem cargas de trabalho comuns do Windows, como edição de documentos (LibreOffice Calc/Writer), navegação na internet (Microsoft Edge, Google Chrome), tarefas do sistema (Explorador de Arquivos, Configurações), codificação (Visual Studio Code), reprodução de mídia (VLC Player) e funções utilitárias (Bloco de Notas, Relógio, Paint). A avaliação de tarefas é determinística, com scripts personalizados gerando recompensas ao final de cada episódio.

Em sua essência, o WAA utiliza um contêiner Docker hospedando uma VM do Windows 11. Um servidor Python Flask atua como intermediário, executando comandos dentro da VM e retornando observações. Para paralelização escalável na nuvem, são empregados trabalhos do Azure Machine Learning, distribuindo tarefas uniformemente entre as instâncias de computação e agregando resultados. Essa infraestrutura suporta execução local flexível durante a prototipagem e benchmarking robusto baseado em nuvem.

Para demonstrar as capacidades do WAA, o agente Navi foi introduzido. O Navi usa prompting de cadeia de pensamento para raciocinar sobre o estado do computador, ações passadas e decidir o próximo passo. Sua entrada inclui o título da janela em primeiro plano, os títulos de todas as janelas/abas abertas e uma representação da tela processada através de vários métodos, como análise de árvore UIA, análise de árvore DOM, OCR, detecção de ícones/imagens e OmniParser. Resultados iniciais mostram que, embora os modelos atuais alcancem desempenho inferior ao dos humanos, a qualidade da representação da tela impacta significativamente o sucesso do agente, com a análise de árvore UIA e a legendagem de ícones do OmniParser mostrando aumentos de desempenho.

O WAA é um recurso valioso para pesquisadores e desenvolvedores que visam avançar o campo de agentes de IA, particularmente aqueles que operam em ambientes de desktop complexos. Ele facilita testes rigorosos, análise comparativa de arquiteturas de agentes e a geração de insights para o desenvolvimento futuro de agentes.