Beschreibung
Mage-VL-Cowork ist ein ausgeklügelter multimodaler Hybrid-Computer-Nutzungsagent mit 4B Parametern, der vom Microsoft Mage Team entwickelt wurde. Er wurde entwickelt, um die Lücke zwischen pixelbasierten Computer-Nutzungsagenten (CUAs) und solchen mit naivem Zugang zu sowohl GUI- als auch Terminal-Tools zu schließen. Das Modell erreicht hybride Kompetenz, indem es screenshot-basierte GUI-Interaktion (`computer_use`) und persistente Code-/Terminalausführung (`bash`) innerhalb einer einzigen vision-sprachlichen Richtlinie kombiniert, wodurch die Notwendigkeit eines externen Orchestrators entfällt.
Weiterlesen
Das Training des Modells umfasst einen progressiven fünfstufigen Lehrplan, der mit einem intermediären 4B Mage-VL-Checkpoint beginnt. Dieser Lehrplan baut starke eigenständige visuelle Verankerung, GUI-Ausführung und Programmier-/Terminalkompetenz auf, bevor er sie durch Hybrid SFT und asynchrones Online Hybrid RL vereint. Ein Schlüsselmerkmal seiner Entwicklung ist die Evolution des Lehrer-Harnes, der redundante Aktionsrouten beseitigt und Domänenbibliotheken ausstattet, was zu erheblichen Gewinnen bei der Schülerdestillation führt.
Mage-VL-Cowork nutzt auch Mage-CUA-Forge, eine workflow-orientierte Synthese-Engine, die eine Vielzahl von Aufgaben über atomare Fähigkeiten generiert und dabei die wiederkehrenden Kosten pro Aufgabe drastisch senkt. Dieser Ansatz reduziert den Tokenverbrauch und die Ausgaben im Vergleich zu standardmäßigen agentenorientierten Konstruktionsmethoden.
Mit 4B Parametern erreicht Mage-VL-Cowork 66,0 % bei OSWorld-Verified unter einem 50-Schritte-Budget, was die beste Leistung unter Modellen seiner Größe markiert. Es zeigt eine starke Ausführung bei Betriebssystemaufgaben (87,5 %) und Multi-Anwendungs-Workflows (62,7 %). Die Effizienz des Modells wird durch Online-Verstärkungslernen weiter verbessert, das signifikante Genauigkeitsverbesserungen hinzufügt und gleichzeitig die durchschnittlichen Modellaufrufe und Ausgabetokens reduziert. Sein asymmetrisches Arbeitsgedächtnis ermöglicht es, langfristige Desktop-Aufgaben zu verwalten, indem frühere Züge komprimiert und aktuelle visuelle und Antwortdaten beibehalten werden.
Mage-VL-Cowork wird unter der Apache-2.0-Lizenz veröffentlicht und ist für den Einsatz in isolierten, wegwerfbaren Sandbox-Umgebungen aufgrund seiner autonomen Fähigkeiten vorgesehen. Es unterstützt eine benutzerdefinierte multimodale Architektur und erfordert spezifische Konfigurationen für die Inferenz, einschließlich eines einheitlichen Zwei-Kanal-Vertrags für GUI- und Terminalinteraktionen.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Mage-VL-Cowork im Überblick
Hybride Computernutzung: Kombiniert GUI-Interaktion und Terminalausführung innerhalb einer einzigen Richtlinie.
4B Parameter: Erreicht eine erstklassige Leistung im 4B-Bereich.
Multimodale Architektur: Bild-Text-zu-Text-Modell basierend auf der llava_onevision2-Architektur.
Fünfstufiger Trainingslehrplan: Progressiver Spezialisierungs- dann Vereinheitlichungsansatz für umfassende Kompetenzentwicklung.
Evolvierte Lehrer-Harnesse: Verstärkt die Schülerdestillation und verbessert die Effizienz.
Workflow-orientierte Umgebungsynthese (Mage-CUA-Forge): Reduziert die Kosten für die Aufgabengenerierung und den Tokenverbrauch.
Internalisierte Turn-Level-Kanal-Routing: Wählt dynamisch zwischen GUI und bash für optimale Ausführung.
Hohe OSWorld-Verified-Leistung: Erreicht 66,0 % bei OSWorld-Verified-Aufgaben.
Starke OS- und Multi-Anwendungs-Workflow-Ausführung: 87,5 % bei OS-Aufgaben, 62,7 % bei Multi-Anwendungs-Workflows.
Online-Verstärkungslernen: Verbessert die Genauigkeit um +10,16 pp und reduziert Modellaufrufe/Ausgabetokens.
Asymmetrisches Arbeitsgedächtnis: Verwalten von langfristigen Aufgaben mit gefaltetem Gedächtnis und aktivem visuellen Fenster.
Einheitlicher Checkpoint: Handhabt visuelle Verankerung, GUI-Manipulation, programmatische Operationen und Kanalwechsel.
Apache-2.0-Lizenz: Open-Source-Lizenz für Nutzung und Verbreitung.
Benutzerdefinierte multimodale Architektur: Verwendet llava_onevision2 mit Qwen2_5_VLProcessor.
Erste Schritte mit Mage-VL-Cowork
Installieren Sie Abhängigkeiten: Richten Sie die erforderliche Umgebung ein, einschließlich SGLang, PyTorch und Transformers.
Dienen Sie mit SGLang: Starten Sie den GPU-Inferenzserver mit dem bereitgestellten Docker-Container oder einer benutzerdefinierten Umgebung.
Konfigurieren Sie multimodale Anfragen: Rendern Sie Eingabeaufforderungen mit AutoProcessor.apply_chat_template und senden Sie base64-Bildpayloads an SGLangs /generate-Endpunkt.
Wenden Sie Sampling-Parameter an: Verwenden Sie empfohlene Einstellungen wie Temperatur 0,7, top_p 0,8 und max_new_tokens 4096.
Implementieren Sie Systemaufforderung & Tool-Schema: Verwenden Sie den genauen einheitlichen Zwei-Kanal-Vertrag für computer_use und bash.
Führen Sie Offline-Transformers-Inferenz durch: Nutzen Sie das Modell für Inferenz mit bereitgestellten Beispielen.
Reproduzieren Sie die OSWorld-Verified-Bewertung: Starten Sie die SGLang-Laufzeit und führen Sie den OSWorld-Verified-Bewertungs-Harnes aus.
Sicher bereitstellen: Führen Sie den Agenten immer in einer isolierten Sandbox-Umgebung mit eingeschränkter Autorisierung und null Credential-Exposition aus.
Mage-VL-Cowork's Anwendungsfälle
- Autonome Desktop-Automatisierung
- GUI-Interaktion
- Programmgesteuertes Datei-Editing
- Systemoperationen
- Interaktion mit Webumgebungen
- Software-Engineering-Aufgaben
- On-Device-Intelligenz
- Forschung und Entwicklung











