Deskripsi
Windows Agent Arena (WAA) adalah kerangka kerja open-source baru yang dirancang untuk mengatasi tantangan dalam mengevaluasi dan mengembangkan agen AI yang mampu bernalar, merencanakan, dan bertindak dalam sistem operasi Windows yang sebenarnya. Benchmark tradisional sering berfokus pada modalitas atau domain yang terbatas dan memakan waktu, membutuhkan waktu berhari-hari untuk evaluasi penuh karena sifat tugas yang berurutan. WAA menawarkan lingkungan OS Windows yang dapat direproduksi dan realistis di mana agen AI dapat berinteraksi dengan berbagai aplikasi, alat, dan peramban web, meniru pengalaman pengguna manusia.
Baca Selengkapnya
Kerangka kerja ini mendukung penerapan agen dalam skala besar, memanfaatkan infrastruktur cloud Azure ML untuk eksekusi paralel. Hal ini memungkinkan ratusan tugas untuk di-benchmark dalam hitungan menit, bukan hari. WAA mencakup lebih dari 154 tugas beragam yang mencakup beban kerja Windows umum seperti pengeditan dokumen (LibreOffice Calc/Writer), penjelajahan internet (Microsoft Edge, Google Chrome), tugas sistem (File Explorer, Settings), pengkodean (Visual Studio Code), pemutaran media (VLC Player), dan fungsi utilitas (Notepad, Clock, Paint). Evaluasi tugas bersifat deterministik, dengan skrip kustom menghasilkan imbalan di akhir setiap episode.
Intinya, WAA menggunakan kontainer Docker yang menghosting VM Windows 11. Server Python Flask bertindak sebagai perantara, mengeksekusi perintah di dalam VM dan mengembalikan observasi. Untuk paralelisme cloud yang dapat diskalakan, pekerjaan Azure Machine Learning digunakan, mendistribusikan tugas secara merata di antara instans komputasi dan mengagregasi hasil. Infrastruktur ini mendukung eksekusi lokal yang fleksibel selama prototipe dan benchmarking berbasis cloud yang kuat.
Untuk mendemonstrasikan kemampuan WAA, agen Navi diperkenalkan. Navi menggunakan prompting chain-of-thought untuk bernalar tentang status komputer, tindakan sebelumnya, dan memutuskan langkah selanjutnya. Inputnya mencakup judul jendela latar depan, judul semua jendela/tab yang terbuka, dan representasi layar yang diproses melalui berbagai metode seperti parsing pohon UIA, parsing pohon DOM, OCR, deteksi ikon/gambar, dan OmniParser. Hasil awal menunjukkan bahwa meskipun model saat ini mencapai kinerja yang lebih rendah daripada manusia, kualitas representasi layar secara signifikan memengaruhi keberhasilan agen, dengan parsing pohon UIA dan penandaan ikon OmniParser menunjukkan peningkatan kinerja.
WAA adalah sumber daya berharga bagi para peneliti dan pengembang yang bertujuan untuk memajukan bidang agen AI, terutama yang beroperasi di lingkungan desktop yang kompleks. Ini memfasilitasi pengujian yang ketat, analisis komparatif arsitektur agen, dan pembuatan wawasan untuk pengembangan agen di masa depan.
- KategoriPembuat Agen AI
- Model HargaOpen source
- PenerapanCloud (Azure ML), Lokal
- PlatformWindows
Fitur Inti Windows Agent Arena
Lingkungan OS Windows yang dapat diskalakan untuk agen AI
Interaksi desktop realistis dengan berbagai aplikasi
Mendukung agen AI multi-modal
Benchmarking alur kerja agen
Eksekusi paralel melalui Azure ML
154 tugas Windows yang beragam
Evaluasi tugas yang deterministik
Prompting chain-of-thought untuk agen
Berbagai metode representasi layar (UIA, DOM, OCR, Deteksi Ikon, OmniParser)
Kerangka kerja open-source
Lingkungan penelitian yang dapat direproduksi
Memulai dengan Windows Agent Arena
Siapkan kontainer Docker dengan VM Windows 11
Konfigurasi penjadwalan tugas dan penerapan agen
Tentukan input agen dan metode penguraian layar
Jalankan evaluasi benchmark secara lokal atau di Azure ML
Analisis metrik kinerja dan log agen
Kasus Penggunaan Windows Agent Arena
- Benchmarking Agen AI
- Penelitian Otomatisasi Desktop
- Pengembangan Agen Multi-modal
- Penelitian AI yang Dapat Direproduksi
- Studi Interaksi Manusia-AI
