Deskripsi
Mage-VL-Cowork adalah agen komputer-hybrid multimodal yang canggih dengan 4B parameter yang dikembangkan oleh Tim Mage Microsoft. Ini dirancang untuk menjembatani kesenjangan antara agen komputer berbasis piksel (CUA) dan yang memiliki akses naif ke alat GUI dan terminal. Model ini mencapai kompetensi hibrida dengan menggabungkan interaksi GUI berbasis tangkapan layar (`computer_use`) dan eksekusi kode/terminal yang persisten (`bash`) dalam satu kebijakan bahasa-visual, menghilangkan kebutuhan akan pengatur eksternal.
Baca Selengkapnya
Pelatihan model ini melibatkan kurikulum lima tahap yang progresif, mulai dari checkpoint Mage-VL 4B menengah. Kurikulum ini membangun dasar yang kuat untuk penggambaran visual mandiri, eksekusi GUI, dan kompetensi pengkodean/terminal sebelum menyatukannya melalui Hybrid SFT dan Online Hybrid RL yang asinkron. Aspek kunci dari pengembangannya adalah evolusi harness pengajar, yang memangkas jalur tindakan yang redundan dan melengkapi pustaka domain, yang mengarah pada peningkatan distilasi siswa yang signifikan.
Mage-VL-Cowork juga memanfaatkan Mage-CUA-Forge, mesin sintesis yang mengutamakan alur kerja yang menghasilkan sejumlah besar tugas di seluruh keterampilan atom sambil secara drastis mengurangi biaya generasi per tugas yang berulang. Pendekatan ini mengurangi konsumsi token dan pengeluaran dibandingkan dengan metode konstruksi berbasis agen standar.
Dengan 4B parameter, Mage-VL-Cowork mencapai 66,0% pada OSWorld-Verified di bawah anggaran 50 langkah, menandai kinerja terbaik di antara model-model seukuran ini. Ini menunjukkan eksekusi yang kuat pada tugas Sistem Operasi (87,5%) dan Alur Kerja Multi-Aplikasi (62,7%). Efisiensi model ini semakin ditingkatkan oleh pembelajaran penguatan online, yang menambahkan peningkatan akurasi yang signifikan sambil secara bersamaan mengurangi rata-rata panggilan model dan token keluaran. Memori kerja asimetrisnya memungkinkannya untuk mengelola tugas desktop jangka panjang dengan mengompresi giliran sebelumnya dan mempertahankan data visual dan respons terbaru.
Mage-VL-Cowork dirilis di bawah Lisensi Apache-2.0 dan dimaksudkan untuk diterapkan di lingkungan sandbox yang terisolasi dan sekali pakai karena kemampuannya yang otonom. Ini mendukung arsitektur multimodal kustom dan memerlukan konfigurasi tertentu untuk inferensi, termasuk kontrak dua saluran terpadu untuk interaksi GUI dan terminal.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Mage-VL-Cowork
Penggunaan Komputer Hibrida: Menggabungkan interaksi GUI dan eksekusi terminal dalam satu kebijakan.
4B Parameter: Mencapai kinerja terbaik di kelasnya pada skala 4B.
Arsitektur Multimodal: Model Gambar-Teks-ke-Teks berdasarkan arsitektur llava_onevision2.
Kurikulum Pelatihan Lima Tahap: Pendekatan progresif specialize-then-unify untuk pengembangan keterampilan yang komprehensif.
Evolusi Harness Pengajar: Meningkatkan distilasi siswa dan efisiensi.
Sintesis Lingkungan Utama Alur Kerja (Mage-CUA-Forge): Mengurangi biaya generasi tugas dan konsumsi token.
Rute Saluran Tingkat Internal: Memilih secara dinamis antara GUI dan bash untuk eksekusi optimal.
Kinerja Tinggi yang Diverifikasi OSWorld: Mencapai 66,0% pada tugas yang Diverifikasi OSWorld.
Eksekusi OS yang Kuat & Alur Kerja Multi-Aplikasi: 87,5% pada tugas OS, 62,7% pada Alur Kerja Multi-Aplikasi.
Pembelajaran Penguatan Online: Meningkatkan akurasi sebesar +10,16 pp dan mengurangi panggilan model/token keluaran.
Memori Kerja Asimetris: Mengelola tugas jangka panjang dengan memori yang dilipat dan jendela visual aktif.
Checkpoint Terpadu: Menangani penggambaran visual, manipulasi GUI, operasi programatik, dan pengalihan saluran.
Lisensi Apache-2.0: Lisensi sumber terbuka untuk penggunaan dan distribusi.
Arsitektur Multimodal Kustom: Menggunakan llava_onevision2 dengan Qwen2_5_VLProcessor.
Memulai dengan Mage-VL-Cowork
Instal Ketergantungan: Siapkan lingkungan yang diperlukan, termasuk SGLang, PyTorch, dan Transformers.
Layani dengan SGLang: Luncurkan server inferensi GPU menggunakan kontainer Docker yang disediakan atau lingkungan kustom.
Konfigurasi Permintaan Multimodal: Render prompt dengan AutoProcessor.apply_chat_template dan kirim muatan gambar base64 ke endpoint /generate SGLang.
Terapkan Parameter Sampling: Gunakan pengaturan yang direkomendasikan seperti suhu 0,7, top_p 0,8, dan max_new_tokens 4096.
Terapkan Prompt Sistem & Skema Alat: Gunakan kontrak dua saluran terpadu yang tepat untuk computer_use dan bash.
Lakukan Inferensi Transformers Offline: Manfaatkan model untuk inferensi dengan contoh yang disediakan.
Reproduksi Evaluasi Diverifikasi OSWorld: Luncurkan runtime SGLang dan jalankan harness evaluasi Diverifikasi OSWorld.
Terapkan dengan Aman: Selalu jalankan agen di lingkungan sandbox yang terisolasi dengan otorisasi yang terukur dan tanpa paparan kredensial.
Kasus Penggunaan Mage-VL-Cowork
- Otomatisasi Desktop Otonom
- Interaksi GUI
- Pengeditan File Programatik
- Operasi Sistem
- Interaksi Lingkungan Web
- Tugas Rekayasa Perangkat Lunak
- Kecerdasan Di Perangkat
- Penelitian dan Pengembangan











