الوصف
Mage-VL-Cowork هو وكيل هجين متعدد الوسائط يستخدم 4B من المعلمات تم تطويره بواسطة فريق Mage في Microsoft. تم تصميمه لسد الفجوة بين وكلاء استخدام الكمبيوتر المستندين إلى البكسل (CUAs) وأولئك الذين لديهم وصول ساذج إلى كل من أدوات واجهة المستخدم الرسومية والأدوات الطرفية. يحقق النموذج كفاءة هجينة من خلال دمج تفاعل واجهة المستخدم الرسومية المستند إلى لقطة الشاشة («computer_use») وتنفيذ الكود/الطرفية المستمر («bash») ضمن سياسة لغة الرؤية الواحدة، مما يلغي الحاجة إلى منظم خارجي.
قراءة المزيد
يتضمن تدريب النموذج منهجًا تدريجيًا من خمس مراحل يتخصص ثم يوحد، بدءًا من نقطة تفتيش Mage-VL المتوسطة 4B. يبني هذا المنهج أساسًا قويًا للتأسيس البصري المستقل، وتنفيذ واجهة المستخدم الرسومية، وكفاءة البرمجة/الطرفية قبل توحيدها من خلال Hybrid SFT وOnline Hybrid RL غير المتزامن. جانب رئيسي من تطويره هو تطور حزام المعلم، الذي يقلم مسارات العمل الزائدة ويجهز مكتبات المجال، مما يؤدي إلى مكاسب كبيرة في تقطير الطلاب.
يستفيد Mage-VL-Cowork أيضًا من Mage-CUA-Forge، وهو محرك تركيب يركز على سير العمل يولد عددًا هائلًا من المهام عبر المهارات الذرية بينما يقلل بشكل كبير من تكاليف توليد المهام المتكررة. تقلل هذه الطريقة من استهلاك الرموز والنفقات مقارنة بأساليب البناء التي تركز على الوكلاء القياسيين.
مع 4B من المعلمات، يحقق Mage-VL-Cowork 66.0% على OSWorld-Verified ضمن ميزانية من 50 خطوة، مما يمثل أفضل أداء بين النماذج من حجمه. يظهر أداءً قويًا في مهام نظام التشغيل (87.5%) وسير العمل متعدد التطبيقات (62.7%). يتم تعزيز كفاءة النموذج بشكل أكبر من خلال التعلم المعزز عبر الإنترنت، الذي يضيف تحسينات كبيرة في الدقة بينما يقلل في الوقت نفسه من متوسط استدعاءات النموذج ورموز الإخراج. يسمح له ذاكرة العمل غير المتماثلة بإدارة المهام الطويلة الأمد على سطح المكتب من خلال ضغط الأدوار السابقة والاحتفاظ بالبيانات المرئية والاستجابة الحديثة.
تم إصدار Mage-VL-Cowork بموجب ترخيص Apache-2.0 ويهدف إلى النشر في بيئات صندوق الرمل المعزولة والقابلة للتخلص منها نظرًا لقدراته المستقلة. يدعم بنية متعددة الوسائط مخصصة ويتطلب تكوينات محددة للاستدلال، بما في ذلك عقدة موحدة ثنائية القناة لتفاعلات واجهة المستخدم الرسومية والطرفية.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح Mage-VL-Cowork
استخدام الكمبيوتر الهجين: يجمع بين تفاعل واجهة المستخدم الرسومية وتنفيذ الطرفية ضمن سياسة واحدة.
4B من المعلمات: يحقق أداءً من الطراز الأول عند نطاق 4B.
بنية متعددة الوسائط: نموذج صورة-نص إلى نص يعتمد على بنية llava_onevision2.
منهج تدريبي من خمس مراحل: نهج تدريجي يتخصص ثم يوحد لتطوير المهارات الشاملة.
تطور أحزمة المعلم: يعزز تقطير الطلاب ويحسن الكفاءة.
تركيب بيئة تركز على سير العمل (Mage-CUA-Forge): يقلل من تكلفة توليد المهام واستهلاك الرموز.
توجيه القناة على مستوى الدور الداخلي: يختار ديناميكيًا بين واجهة المستخدم الرسومية وbash لتحقيق تنفيذ مثالي.
أداء عالي موثق من OSWorld: يحقق 66.0% في مهام OSWorld-Verified.
تنفيذ قوي لنظام التشغيل وسير العمل متعدد التطبيقات: 87.5% في مهام نظام التشغيل، 62.7% في سير العمل متعدد التطبيقات.
التعلم المعزز عبر الإنترنت: يحسن الدقة بمقدار +10.16 نقطة مئوية ويقلل من استدعاءات النموذج/رموز الإخراج.
ذاكرة عمل غير متماثلة: تدير المهام الطويلة الأمد مع ذاكرة مطوية ونافذة مرئية نشطة.
نقطة تفتيش موحدة: تتعامل مع التأسيس البصري، والتلاعب بواجهة المستخدم الرسومية، والعمليات البرمجية، وتبديل القنوات.
ترخيص Apache-2.0: ترخيص مفتوح المصدر للاستخدام والتوزيع.
بنية متعددة الوسائط مخصصة: تستخدم llava_onevision2 مع Qwen2_5_VLProcessor.
البدء مع Mage-VL-Cowork
تثبيت التبعيات: إعداد البيئة المطلوبة، بما في ذلك SGLang وPyTorch وTransformers.
الخدمة باستخدام SGLang: إطلاق خادم الاستدلال GPU باستخدام حاوية Docker المقدمة أو بيئة مخصصة.
تكوين الطلبات متعددة الوسائط: تقديم المطالبات باستخدام AutoProcessor.apply_chat_template وإرسال حمولات الصور base64 إلى نقطة النهاية /generate الخاصة بـ SGLang.
تطبيق معلمات العينة: استخدام الإعدادات الموصى بها مثل درجة الحرارة 0.7، top_p 0.8، والحد الأقصى من الرموز الجديدة 4096.
تنفيذ نظام المطالبات ونموذج الأدوات: استخدام العقدة الموحدة ثنائية القناة بالضبط لاستخدام الكمبيوتر وbash.
تنفيذ استدلال Transformers غير المتصل: استخدام النموذج للاستدلال مع الأمثلة المقدمة.
إعادة إنتاج تقييم OSWorld-Verified: إطلاق وقت تشغيل SGLang وتشغيل حزام تقييم OSWorld-Verified.
نشر بأمان: يجب دائمًا تشغيل الوكيل في بيئة صندوق الرمل المعزولة مع تفويض محدد وعدم تعرض بيانات الاعتماد.
حالات استخدام Mage-VL-Cowork
- أتمتة سطح المكتب المستقل
- تفاعل واجهة المستخدم الرسومية
- تحرير الملفات برمجيًا
- عمليات النظام
- تفاعل بيئة الويب
- مهام هندسة البرمجيات
- الذكاء على الجهاز
- البحث والتطوير











