Descrição
Windows Agent Arena (WAA) é um framework inovador e de código aberto projetado para enfrentar os desafios na avaliação e desenvolvimento de agentes de IA capazes de raciocinar, planejar e agir dentro de um sistema operacional Windows real. Benchmarks tradicionais frequentemente se concentram em modalidades ou domínios limitados e consomem muito tempo, levando dias para avaliações completas devido à natureza sequencial das tarefas. O WAA oferece um ambiente de sistema operacional Windows reproduzível e realista onde agentes de IA podem interagir com uma ampla gama de aplicativos, ferramentas e navegadores web, espelhando experiências de usuário humano.
O framework suporta a implantação de agentes em escala, aproveitando a infraestrutura de nuvem do Azure ML para execução paralela. Isso permite que centenas de tarefas sejam comparadas em minutos em vez de dias. O WAA inclui mais de 154 tarefas diversas que abrangem cargas de trabalho comuns do Windows, como edição de documentos (LibreOffice Calc/Writer), navegação na internet (Microsoft Edge, Google Chrome), tarefas do sistema (Explorador de Arquivos, Configurações), codificação (Visual Studio Code), reprodução de mídia (VLC Player) e funções utilitárias (Bloco de Notas, Relógio, Paint). A avaliação de tarefas é determinística, com scripts personalizados gerando recompensas ao final de cada episódio.
Em sua essência, o WAA utiliza um contêiner Docker hospedando uma VM do Windows 11. Um servidor Python Flask atua como intermediário, executando comandos dentro da VM e retornando observações. Para paralelização escalável na nuvem, são empregados trabalhos do Azure Machine Learning, distribuindo tarefas uniformemente entre as instâncias de computação e agregando resultados. Essa infraestrutura suporta execução local flexível durante a prototipagem e benchmarking robusto baseado em nuvem.
Para demonstrar as capacidades do WAA, o agente Navi foi introduzido. O Navi usa prompting de cadeia de pensamento para raciocinar sobre o estado do computador, ações passadas e decidir o próximo passo. Sua entrada inclui o título da janela em primeiro plano, os títulos de todas as janelas/abas abertas e uma representação da tela processada através de vários métodos, como análise de árvore UIA, análise de árvore DOM, OCR, detecção de ícones/imagens e OmniParser. Resultados iniciais mostram que, embora os modelos atuais alcancem desempenho inferior ao dos humanos, a qualidade da representação da tela impacta significativamente o sucesso do agente, com a análise de árvore UIA e a legendagem de ícones do OmniParser mostrando aumentos de desempenho.
O WAA é um recurso valioso para pesquisadores e desenvolvedores que visam avançar o campo de agentes de IA, particularmente aqueles que operam em ambientes de desktop complexos. Ele facilita testes rigorosos, análise comparativa de arquiteturas de agentes e a geração de insights para o desenvolvimento futuro de agentes.
Recursos principais de Windows Agent Arena
Ambiente escalável de sistema operacional Windows para agentes de IA
Interação realista com desktop e diversas aplicações
Suporta agentes de IA multimodais
Benchmarking de fluxos de trabalho agênticos
Execução paralela via Azure ML
154 tarefas diversas do Windows
Avaliação determinística de tarefas
Prompting de cadeia de pensamento para agentes
Múltiplos métodos de representação de tela (UIA, DOM, OCR, Detecção de Ícones, OmniParser)
Framework de código aberto
Ambiente de pesquisa reproduzível
Como usar Windows Agent Arena?
Configurar o contêiner Docker com VM do Windows 11
Configurar o agendamento de tarefas e a implantação do agente
Definir entradas do agente e métodos de análise de tela
Executar avaliações de benchmark localmente ou no Azure ML
Analisar métricas de desempenho e logs do agente
Casos de uso de Windows Agent Arena
- Benchmarking de Agentes de IA
- Pesquisa em Automação de Desktop
- Desenvolvimento de Agentes Multimodais
- Pesquisa de IA Reproduzível
- Estudos de Interação Humano-IA
