Beschreibung
Windows Agent Arena (WAA) ist ein neuartiges Open-Source-Framework, das entwickelt wurde, um die Herausforderungen bei der Evaluierung und Entwicklung von KI-Agenten zu bewältigen, die in der Lage sind, innerhalb eines realen Windows-Betriebssystems zu schlussfolgern, zu planen und zu handeln. Traditionelle Benchmarks konzentrieren sich oft auf begrenzte Modalitäten oder Domänen und sind zeitaufwendig, da vollständige Evaluierungen aufgrund der sequenziellen Natur von Aufgaben Tage dauern können. WAA bietet eine reproduzierbare und realistische Windows-Betriebssystemumgebung, in der KI-Agenten mit einer breiten Palette von Anwendungen, Tools und Webbrowsern interagieren können, was menschliche Benutzererfahrungen widerspiegelt.
Weiterlesen
Das Framework unterstützt die Bereitstellung von Agenten in großem Maßstab und nutzt die Cloud-Infrastruktur von Azure ML für parallele Ausführung. Dies ermöglicht das Benchmarking von Hunderten von Aufgaben in Minuten statt in Tagen. WAA umfasst über 154 verschiedene Aufgaben, die gängige Windows-Workloads abdecken, wie z. B. Dokumentenbearbeitung (LibreOffice Calc/Writer), Internet-Browsing (Microsoft Edge, Google Chrome), Systemaufgaben (Datei-Explorer, Einstellungen), Codierung (Visual Studio Code), Medienwiedergabe (VLC Player) und Hilfsfunktionen (Notepad, Clock, Paint). Die Aufgabenauswertung ist deterministisch, wobei benutzerdefinierte Skripte am Ende jeder Episode Belohnungen generieren.
Im Kern verwendet WAA einen Docker-Container, der eine Windows 11 VM hostet. Ein Python Flask-Server fungiert als Vermittler, führt Befehle innerhalb der VM aus und gibt Beobachtungen zurück. Für skalierbare Cloud-Parallelisierung werden Azure Machine Learning-Jobs eingesetzt, die Aufgaben gleichmäßig auf Compute-Instanzen verteilen und Ergebnisse aggregieren. Diese Infrastruktur unterstützt die flexible lokale Ausführung während der Prototypenentwicklung und robustes Cloud-basiertes Benchmarking.
Um die Fähigkeiten von WAA zu demonstrieren, wurde der Navi-Agent eingeführt. Navi verwendet Chain-of-Thought-Prompting, um den Zustand des Computers und vergangene Aktionen zu analysieren und den nächsten Schritt zu entscheiden. Seine Eingaben umfassen den Titel des Vordergrundfensters, die Titel aller geöffneten Fenster/Tabs und eine Bildschirmdarstellung, die durch verschiedene Methoden wie UIA-Tree-Parsing, DOM-Tree-Parsing, OCR, Icon-/Bilderkennung und OmniParser verarbeitet wird. Erste Ergebnisse zeigen, dass aktuelle Modelle zwar eine geringere Leistung als Menschen erzielen, die Qualität der Bildschirmdarstellung jedoch die Agentenerfolgsrate erheblich beeinflusst, wobei UIA-Tree-Parsing und das Icon-Captioning von OmniParser Leistungsschübe zeigen.
WAA ist eine wertvolle Ressource für Forscher und Entwickler, die das Feld der KI-Agenten vorantreiben wollen, insbesondere für diejenigen, die in komplexen Desktop-Umgebungen arbeiten. Es ermöglicht rigorose Tests, vergleichende Analysen von Agentenarchitekturen und die Generierung von Erkenntnissen für die zukünftige Agentenentwicklung.
- KategorieKI-Agenten-Builder
- PreismodellOpen Source
- BereitstellungCloud (Azure ML), Lokal
- PlattformenWindows
Windows Agent Arena's Kernfunktionen
Skalierbare Windows-Betriebssystemumgebung für KI-Agenten
Realistische Desktop-Interaktion mit diversen Anwendungen
Unterstützt multimodale KI-Agenten
Benchmarking von agentenbasierten Workflows
Parallele Ausführung über Azure ML
154 diverse Windows-Aufgaben
Deterministische Aufgabenauswertung
Chain-of-Thought-Prompting für Agenten
Mehrere Methoden zur Bildschirmdarstellung (UIA, DOM, OCR, Icon-Erkennung, OmniParser)
Open-Source-Framework
Reproduzierbare Forschungsumgebung
Erste Schritte mit Windows Agent Arena
Einrichten des Docker-Containers mit Windows 11 VM
Konfigurieren der Aufgabenplanung und Agentenbereitstellung
Definieren von Agenteneingaben und Bildschirm-Parsing-Methoden
Ausführen von Benchmark-Evaluierungen lokal oder auf Azure ML
Analysieren von Agentenleistungsmetriken und Protokollen
Windows Agent Arena's Anwendungsfälle
- KI-Agenten-Benchmarking
- Forschung zur Desktop-Automatisierung
- Entwicklung multimodaler Agenten
- Reproduzierbare KI-Forschung
- Studien zur Mensch-KI-Interaktion
