Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

Mage-VL-Cowork

LLM#78Model AI & LLMOpen source · Web

Mage-VL-Cowork adalah agen komputer-hybrid multimodal dengan 4B parameter yang dikembangkan oleh Microsoft. Ini mengintegrasikan interaksi GUI berbasis tangkapan layar dan eksekusi kode/terminal yang persisten dalam satu kebijakan bahasa-visual. Model ini unggul dalam tugas komputer yang kompleks, menunjukkan kinerja terbaik di kelasnya untuk skala ini dan mendorong batasan kecerdasan di perangkat untuk agen desktop otonom.

Kunjungi URL
Bagikan
Tangkapan layar Mage-VL-Cowork
Tangkapan layar Mage-VL-Cowork

Mage-VL-Cowork adalah agen komputer-hybrid multimodal yang canggih dengan 4B parameter yang dikembangkan oleh Tim Mage Microsoft. Ini dirancang untuk menjembatani kesenjangan antara agen komputer berbasis piksel (CUA) dan yang memiliki akses naif ke alat GUI dan terminal. Model ini mencapai kompetensi hibrida dengan menggabungkan interaksi GUI berbasis tangkapan layar (`computer_use`) dan eksekusi kode/terminal yang persisten (`bash`) dalam satu kebijakan bahasa-visual, menghilangkan kebutuhan akan pengatur eksternal.

Baca Selengkapnya

Pelatihan model ini melibatkan kurikulum lima tahap yang progresif, mulai dari checkpoint Mage-VL 4B menengah. Kurikulum ini membangun dasar yang kuat untuk penggambaran visual mandiri, eksekusi GUI, dan kompetensi pengkodean/terminal sebelum menyatukannya melalui Hybrid SFT dan Online Hybrid RL yang asinkron. Aspek kunci dari pengembangannya adalah evolusi harness pengajar, yang memangkas jalur tindakan yang redundan dan melengkapi pustaka domain, yang mengarah pada peningkatan distilasi siswa yang signifikan.

Mage-VL-Cowork juga memanfaatkan Mage-CUA-Forge, mesin sintesis yang mengutamakan alur kerja yang menghasilkan sejumlah besar tugas di seluruh keterampilan atom sambil secara drastis mengurangi biaya generasi per tugas yang berulang. Pendekatan ini mengurangi konsumsi token dan pengeluaran dibandingkan dengan metode konstruksi berbasis agen standar.

Dengan 4B parameter, Mage-VL-Cowork mencapai 66,0% pada OSWorld-Verified di bawah anggaran 50 langkah, menandai kinerja terbaik di antara model-model seukuran ini. Ini menunjukkan eksekusi yang kuat pada tugas Sistem Operasi (87,5%) dan Alur Kerja Multi-Aplikasi (62,7%). Efisiensi model ini semakin ditingkatkan oleh pembelajaran penguatan online, yang menambahkan peningkatan akurasi yang signifikan sambil secara bersamaan mengurangi rata-rata panggilan model dan token keluaran. Memori kerja asimetrisnya memungkinkannya untuk mengelola tugas desktop jangka panjang dengan mengompresi giliran sebelumnya dan mempertahankan data visual dan respons terbaru.

Mage-VL-Cowork dirilis di bawah Lisensi Apache-2.0 dan dimaksudkan untuk diterapkan di lingkungan sandbox yang terisolasi dan sekali pakai karena kemampuannya yang otonom. Ini mendukung arsitektur multimodal kustom dan memerlukan konfigurasi tertentu untuk inferensi, termasuk kontrak dua saluran terpadu untuk interaksi GUI dan terminal.

  • KategoriModel AI & LLM
  • Model HargaOpen source
  • PenerapanCloud
  • PlatformWeb

  • Penggunaan Komputer Hibrida: Menggabungkan interaksi GUI dan eksekusi terminal dalam satu kebijakan.

  • 4B Parameter: Mencapai kinerja terbaik di kelasnya pada skala 4B.

  • Arsitektur Multimodal: Model Gambar-Teks-ke-Teks berdasarkan arsitektur llava_onevision2.

  • Kurikulum Pelatihan Lima Tahap: Pendekatan progresif specialize-then-unify untuk pengembangan keterampilan yang komprehensif.

  • Evolusi Harness Pengajar: Meningkatkan distilasi siswa dan efisiensi.

  • Sintesis Lingkungan Utama Alur Kerja (Mage-CUA-Forge): Mengurangi biaya generasi tugas dan konsumsi token.

  • Rute Saluran Tingkat Internal: Memilih secara dinamis antara GUI dan bash untuk eksekusi optimal.

  • Kinerja Tinggi yang Diverifikasi OSWorld: Mencapai 66,0% pada tugas yang Diverifikasi OSWorld.

  • Eksekusi OS yang Kuat & Alur Kerja Multi-Aplikasi: 87,5% pada tugas OS, 62,7% pada Alur Kerja Multi-Aplikasi.

  • Pembelajaran Penguatan Online: Meningkatkan akurasi sebesar +10,16 pp dan mengurangi panggilan model/token keluaran.

  • Memori Kerja Asimetris: Mengelola tugas jangka panjang dengan memori yang dilipat dan jendela visual aktif.

  • Checkpoint Terpadu: Menangani penggambaran visual, manipulasi GUI, operasi programatik, dan pengalihan saluran.

  • Lisensi Apache-2.0: Lisensi sumber terbuka untuk penggunaan dan distribusi.

  • Arsitektur Multimodal Kustom: Menggunakan llava_onevision2 dengan Qwen2_5_VLProcessor.

  1. Instal Ketergantungan: Siapkan lingkungan yang diperlukan, termasuk SGLang, PyTorch, dan Transformers.

  2. Layani dengan SGLang: Luncurkan server inferensi GPU menggunakan kontainer Docker yang disediakan atau lingkungan kustom.

  3. Konfigurasi Permintaan Multimodal: Render prompt dengan AutoProcessor.apply_chat_template dan kirim muatan gambar base64 ke endpoint /generate SGLang.

  4. Terapkan Parameter Sampling: Gunakan pengaturan yang direkomendasikan seperti suhu 0,7, top_p 0,8, dan max_new_tokens 4096.

  5. Terapkan Prompt Sistem & Skema Alat: Gunakan kontrak dua saluran terpadu yang tepat untuk computer_use dan bash.

  6. Lakukan Inferensi Transformers Offline: Manfaatkan model untuk inferensi dengan contoh yang disediakan.

  7. Reproduksi Evaluasi Diverifikasi OSWorld: Luncurkan runtime SGLang dan jalankan harness evaluasi Diverifikasi OSWorld.

  8. Terapkan dengan Aman: Selalu jalankan agen di lingkungan sandbox yang terisolasi dengan otorisasi yang terukur dan tanpa paparan kredensial.

  • Otomatisasi Desktop Otonom
  • Interaksi GUI
  • Pengeditan File Programatik
  • Operasi Sistem
  • Interaksi Lingkungan Web
  • Tugas Rekayasa Perangkat Lunak
  • Kecerdasan Di Perangkat
  • Penelitian dan Pengembangan

Alat AI Populer Seperti Mage-VL-Cowork

DeepSeek-V4-Flash-Vision-Exp adalah model multimodal eksperimental dalam keluarga DeepSeek-V4, yang meningkatkan kemampuan pemahaman visual. Model ini dibangun di atas arsitektur…

Model AI & LLM

Peringkat 70 di LLM

Lihat Alat

Model multimodal eksperimental dalam keluarga DeepSeek-V4, yang meningkatkan kemampuan pemahaman visual. Model ini dibangun di atas arsitektur…DeepSeek-V4-Flash-Vision-Exp adalah model multimodal eksperimental dalam keluarga DeepSeek-V4, yang meningkatkan kemampuan pemahaman visual. Model ini dibangun di atas arsitektur…

Model AI & LLM
Peringkat 70 di LLM

LiquidAI LFM2.5-2.6B adalah model hibrida yang dirancang untuk penerapan di perangkat, menawarkan inferensi yang efisien dan kemampuan agentik. Model ini mendukung berbagai bahasa…

Model AI & LLM

Peringkat 26 di LLM

Lihat Alat

Model hibrida yang dirancang untuk penerapan di perangkat, menawarkan inferensi yang efisien dan kemampuan agentik. Model ini mendukung berbagai bahasa…LiquidAI LFM2.5-2.6B adalah model hibrida yang dirancang untuk penerapan di perangkat, menawarkan inferensi yang efisien dan kemampuan agentik. Model ini mendukung berbagai bahasa…

Model AI & LLM
Peringkat 26 di LLM

OmniParser adalah metode untuk mengurai tangkapan layar antarmuka pengguna menjadi elemen-elemen terstruktur. Ini meningkatkan kemampuan model bahasa visi seperti GPT-4V untuk…

Model AI & LLM
Lihat Alat

Metode untuk mengurai tangkapan layar antarmuka pengguna menjadi elemen-elemen terstruktur. Ini meningkatkan kemampuan model bahasa visi seperti GPT-4V untuk…OmniParser adalah metode untuk mengurai tangkapan layar antarmuka pengguna menjadi elemen-elemen terstruktur. Ini meningkatkan kemampuan model bahasa visi seperti GPT-4V untuk…

Model AI & LLM
Lihat Top 5 Model AI

Command A+ adalah model Mixture of Experts dengan 25B parameter aktif dan 218B total parameter, dirancang untuk penalaran kompleks, visi, dan tugas multibahasa di 48 bahasa,…

Model AI & LLM
Lihat Alat

Command A+ adalah model Mixture of Experts dengan 25B parameter aktif dan 218B total parameter, dirancang untuk penalaran kompleks, visi, dan tugas multibahasa di 48 bahasa,…

UnggulanModel AI & LLM
Lihat Top 5 Model AI

Spark-X2.6-4B adalah model bahasa umum yang kompak, dirancang untuk penerapan di perangkat. Model ini menawarkan kemampuan pengkodean yang lebih baik, dukungan multibahasa, dan…

Model AI & LLM
Lihat Alat

Model bahasa umum yang kompak, dirancang untuk penerapan di perangkat. Model ini menawarkan kemampuan pengkodean yang lebih baik, dukungan multibahasa, dan…Spark-X2.6-4B adalah model bahasa umum yang kompak, dirancang untuk penerapan di perangkat. Model ini menawarkan kemampuan pengkodean yang lebih baik, dukungan multibahasa, dan…

Model AI & LLM
Lihat Top 100 LLM

MiniMax-M3.1-Flash adalah model campuran multimodal yang dirancang untuk pengkodean, alur kerja agen, dan keamanan siber. Model ini mendukung input teks, gambar, dan video,…

Model AI & LLM

Peringkat 84 di LLM

Lihat Alat

Model campuran multimodal yang dirancang untuk pengkodean, alur kerja agen, dan keamanan siber. Model ini mendukung input teks, gambar, dan video,…MiniMax-M3.1-Flash adalah model campuran multimodal yang dirancang untuk pengkodean, alur kerja agen, dan keamanan siber. Model ini mendukung input teks, gambar, dan video,…

Model AI & LLM
Peringkat 84 di LLM

LLaVA

Repositori GitHub AI

LLaVA adalah model penyesuaian instruksi visual yang menggabungkan kemampuan bahasa dan visi skala besar. Tujuannya adalah untuk mencapai kinerja setingkat GPT-4V, memungkinkan…

Model AI & LLM
Lihat Alat

Repositori GitHub AI

Model penyesuaian instruksi visual yang menggabungkan kemampuan bahasa dan visi skala besar. Tujuannya adalah untuk mencapai kinerja setingkat GPT-4V, memungkinkan…LLaVA adalah model penyesuaian instruksi visual yang menggabungkan kemampuan bahasa dan visi skala besar. Tujuannya adalah untuk mencapai kinerja setingkat GPT-4V, memungkinkan…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

gptme adalah agen AI lokal-pertama yang independen dari penyedia yang berjalan di terminal mana pun. Ia menawarkan CLI canggih untuk pengkodean, pekerjaan pengetahuan, dan tugas…

Asisten Coding AI

Peringkat 219 di Agen AI

Lihat Alat

Agen AI lokal-pertama yang independen dari penyedia yang berjalan di terminal mana pun. Ia menawarkan CLI canggih untuk pengkodean, pekerjaan pengetahuan, dan tugas…gptme adalah agen AI lokal-pertama yang independen dari penyedia yang berjalan di terminal mana pun. Ia menawarkan CLI canggih untuk pengkodean, pekerjaan pengetahuan, dan tugas…

Asisten Coding AI
Peringkat 219 di Agen AI
1 dari 8