Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

Mage-VL-Cowork

LLMs#78KI-Modelle & LLMsOpen Source · Web

Mage-VL-Cowork ist ein multimodaler Hybrid-Computer-Nutzungsagent mit 4B Parametern, der von Microsoft entwickelt wurde. Er integriert screenshot-basierte GUI-Interaktion und persistente Code-/Terminalausführung innerhalb einer einzigen vision-sprachlichen Richtlinie. Dieses Modell glänzt bei komplexen Computeraufgaben und zeigt eine erstklassige Leistung für seine Größe, während es die Grenzen der On-Device-Intelligenz für autonome Desktop-Agenten erweitert.

URL besuchen
Teilen
Screenshot von Mage-VL-Cowork
Screenshot von Mage-VL-Cowork

Mage-VL-Cowork ist ein ausgeklügelter multimodaler Hybrid-Computer-Nutzungsagent mit 4B Parametern, der vom Microsoft Mage Team entwickelt wurde. Er wurde entwickelt, um die Lücke zwischen pixelbasierten Computer-Nutzungsagenten (CUAs) und solchen mit naivem Zugang zu sowohl GUI- als auch Terminal-Tools zu schließen. Das Modell erreicht hybride Kompetenz, indem es screenshot-basierte GUI-Interaktion (`computer_use`) und persistente Code-/Terminalausführung (`bash`) innerhalb einer einzigen vision-sprachlichen Richtlinie kombiniert, wodurch die Notwendigkeit eines externen Orchestrators entfällt.

Weiterlesen

Das Training des Modells umfasst einen progressiven fünfstufigen Lehrplan, der mit einem intermediären 4B Mage-VL-Checkpoint beginnt. Dieser Lehrplan baut starke eigenständige visuelle Verankerung, GUI-Ausführung und Programmier-/Terminalkompetenz auf, bevor er sie durch Hybrid SFT und asynchrones Online Hybrid RL vereint. Ein Schlüsselmerkmal seiner Entwicklung ist die Evolution des Lehrer-Harnes, der redundante Aktionsrouten beseitigt und Domänenbibliotheken ausstattet, was zu erheblichen Gewinnen bei der Schülerdestillation führt.

Mage-VL-Cowork nutzt auch Mage-CUA-Forge, eine workflow-orientierte Synthese-Engine, die eine Vielzahl von Aufgaben über atomare Fähigkeiten generiert und dabei die wiederkehrenden Kosten pro Aufgabe drastisch senkt. Dieser Ansatz reduziert den Tokenverbrauch und die Ausgaben im Vergleich zu standardmäßigen agentenorientierten Konstruktionsmethoden.

Mit 4B Parametern erreicht Mage-VL-Cowork 66,0 % bei OSWorld-Verified unter einem 50-Schritte-Budget, was die beste Leistung unter Modellen seiner Größe markiert. Es zeigt eine starke Ausführung bei Betriebssystemaufgaben (87,5 %) und Multi-Anwendungs-Workflows (62,7 %). Die Effizienz des Modells wird durch Online-Verstärkungslernen weiter verbessert, das signifikante Genauigkeitsverbesserungen hinzufügt und gleichzeitig die durchschnittlichen Modellaufrufe und Ausgabetokens reduziert. Sein asymmetrisches Arbeitsgedächtnis ermöglicht es, langfristige Desktop-Aufgaben zu verwalten, indem frühere Züge komprimiert und aktuelle visuelle und Antwortdaten beibehalten werden.

Mage-VL-Cowork wird unter der Apache-2.0-Lizenz veröffentlicht und ist für den Einsatz in isolierten, wegwerfbaren Sandbox-Umgebungen aufgrund seiner autonomen Fähigkeiten vorgesehen. Es unterstützt eine benutzerdefinierte multimodale Architektur und erfordert spezifische Konfigurationen für die Inferenz, einschließlich eines einheitlichen Zwei-Kanal-Vertrags für GUI- und Terminalinteraktionen.

  • KategorieKI-Modelle & LLMs
  • PreismodellOpen Source
  • BereitstellungCloud
  • PlattformenWeb

  • Hybride Computernutzung: Kombiniert GUI-Interaktion und Terminalausführung innerhalb einer einzigen Richtlinie.

  • 4B Parameter: Erreicht eine erstklassige Leistung im 4B-Bereich.

  • Multimodale Architektur: Bild-Text-zu-Text-Modell basierend auf der llava_onevision2-Architektur.

  • Fünfstufiger Trainingslehrplan: Progressiver Spezialisierungs- dann Vereinheitlichungsansatz für umfassende Kompetenzentwicklung.

  • Evolvierte Lehrer-Harnesse: Verstärkt die Schülerdestillation und verbessert die Effizienz.

  • Workflow-orientierte Umgebungsynthese (Mage-CUA-Forge): Reduziert die Kosten für die Aufgabengenerierung und den Tokenverbrauch.

  • Internalisierte Turn-Level-Kanal-Routing: Wählt dynamisch zwischen GUI und bash für optimale Ausführung.

  • Hohe OSWorld-Verified-Leistung: Erreicht 66,0 % bei OSWorld-Verified-Aufgaben.

  • Starke OS- und Multi-Anwendungs-Workflow-Ausführung: 87,5 % bei OS-Aufgaben, 62,7 % bei Multi-Anwendungs-Workflows.

  • Online-Verstärkungslernen: Verbessert die Genauigkeit um +10,16 pp und reduziert Modellaufrufe/Ausgabetokens.

  • Asymmetrisches Arbeitsgedächtnis: Verwalten von langfristigen Aufgaben mit gefaltetem Gedächtnis und aktivem visuellen Fenster.

  • Einheitlicher Checkpoint: Handhabt visuelle Verankerung, GUI-Manipulation, programmatische Operationen und Kanalwechsel.

  • Apache-2.0-Lizenz: Open-Source-Lizenz für Nutzung und Verbreitung.

  • Benutzerdefinierte multimodale Architektur: Verwendet llava_onevision2 mit Qwen2_5_VLProcessor.

  1. Installieren Sie Abhängigkeiten: Richten Sie die erforderliche Umgebung ein, einschließlich SGLang, PyTorch und Transformers.

  2. Dienen Sie mit SGLang: Starten Sie den GPU-Inferenzserver mit dem bereitgestellten Docker-Container oder einer benutzerdefinierten Umgebung.

  3. Konfigurieren Sie multimodale Anfragen: Rendern Sie Eingabeaufforderungen mit AutoProcessor.apply_chat_template und senden Sie base64-Bildpayloads an SGLangs /generate-Endpunkt.

  4. Wenden Sie Sampling-Parameter an: Verwenden Sie empfohlene Einstellungen wie Temperatur 0,7, top_p 0,8 und max_new_tokens 4096.

  5. Implementieren Sie Systemaufforderung & Tool-Schema: Verwenden Sie den genauen einheitlichen Zwei-Kanal-Vertrag für computer_use und bash.

  6. Führen Sie Offline-Transformers-Inferenz durch: Nutzen Sie das Modell für Inferenz mit bereitgestellten Beispielen.

  7. Reproduzieren Sie die OSWorld-Verified-Bewertung: Starten Sie die SGLang-Laufzeit und führen Sie den OSWorld-Verified-Bewertungs-Harnes aus.

  8. Sicher bereitstellen: Führen Sie den Agenten immer in einer isolierten Sandbox-Umgebung mit eingeschränkter Autorisierung und null Credential-Exposition aus.

  • Autonome Desktop-Automatisierung
  • GUI-Interaktion
  • Programmgesteuertes Datei-Editing
  • Systemoperationen
  • Interaktion mit Webumgebungen
  • Software-Engineering-Aufgaben
  • On-Device-Intelligenz
  • Forschung und Entwicklung

Von Microsoft

Mage-VL-Cowork Bewertungen

Wird geladen...

Beliebte KI-Tools wie Mage-VL-Cowork

DeepSeek-V4-Flash-Vision-Exp ist ein experimentelles multimodales Modell aus der DeepSeek-V4-Familie, das die visuellen Verständnisfähigkeiten verbessert. Es basiert auf der…

KI-Modelle & LLMs

Platz 70 in LLMs

Tool ansehen

Experimentelles multimodales Modell aus der DeepSeek-V4-Familie, das die visuellen Verständnisfähigkeiten verbessert. Es basiert auf der…DeepSeek-V4-Flash-Vision-Exp ist ein experimentelles multimodales Modell aus der DeepSeek-V4-Familie, das die visuellen Verständnisfähigkeiten verbessert. Es basiert auf der…

KI-Modelle & LLMs
Platz 70 in LLMs

LiquidAI LFM2.5-2.6B ist ein hybrides Modell, das für die Bereitstellung auf Geräten entwickelt wurde und effiziente Inferenz sowie agentische Fähigkeiten bietet. Es unterstützt…

KI-Modelle & LLMs

Platz 26 in LLMs

Tool ansehen

Hybrides Modell, das für die Bereitstellung auf Geräten entwickelt wurde und effiziente Inferenz sowie agentische Fähigkeiten bietet. Es unterstützt…LiquidAI LFM2.5-2.6B ist ein hybrides Modell, das für die Bereitstellung auf Geräten entwickelt wurde und effiziente Inferenz sowie agentische Fähigkeiten bietet. Es unterstützt…

KI-Modelle & LLMs
Platz 26 in LLMs

OmniParser ist eine Methode zum Parsen von Screenshots der Benutzeroberfläche in strukturierte Elemente. Es verbessert die Fähigkeit von Vision-Sprachmodellen wie GPT-4V, Aktionen…

KI-Modelle & LLMs
Tool ansehen

Methode zum Parsen von Screenshots der Benutzeroberfläche in strukturierte Elemente. Es verbessert die Fähigkeit von Vision-Sprachmodellen wie GPT-4V, Aktionen…OmniParser ist eine Methode zum Parsen von Screenshots der Benutzeroberfläche in strukturierte Elemente. Es verbessert die Fähigkeit von Vision-Sprachmodellen wie GPT-4V, Aktionen…

KI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Command A+ ist ein Mixture of Experts-Modell mit 25B aktiven und 218B Gesamtparametern, das für komplexes Denken, Vision und mehrsprachige Aufgaben in 48 Sprachen entwickelt wurde…

KI-Modelle & LLMs
Tool ansehen

Mixture of Experts-Modell mit 25B aktiven und 218B Gesamtparametern, das für komplexes Denken, Vision und mehrsprachige Aufgaben in 48 Sprachen entwickelt wurde…Command A+ ist ein Mixture of Experts-Modell mit 25B aktiven und 218B Gesamtparametern, das für komplexes Denken, Vision und mehrsprachige Aufgaben in 48 Sprachen entwickelt wurde…

EmpfohlenKI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Spark-X2.6-4B ist ein kompaktes, universelles Sprachmodell, das für den Einsatz auf Geräten konzipiert wurde. Es bietet verbesserte Programmier-, mehrsprachige und…

KI-Modelle & LLMs
Tool ansehen

Kompaktes, universelles Sprachmodell, das für den Einsatz auf Geräten konzipiert wurde. Es bietet verbesserte Programmier-, mehrsprachige und…Spark-X2.6-4B ist ein kompaktes, universelles Sprachmodell, das für den Einsatz auf Geräten konzipiert wurde. Es bietet verbesserte Programmier-, mehrsprachige und…

KI-Modelle & LLMs
Top 100 LLMs ansehen

MiniMax-M3.1-Flash ist ein multimodales Mischmodell von Experten, das für Programmierung, agentische Arbeitsabläufe und Cybersicherheit entwickelt wurde. Es unterstützt…

KI-Modelle & LLMs

Platz 84 in LLMs

Tool ansehen

Multimodales Mischmodell von Experten, das für Programmierung, agentische Arbeitsabläufe und Cybersicherheit entwickelt wurde. Es unterstützt…MiniMax-M3.1-Flash ist ein multimodales Mischmodell von Experten, das für Programmierung, agentische Arbeitsabläufe und Cybersicherheit entwickelt wurde. Es unterstützt…

KI-Modelle & LLMs
Platz 84 in LLMs

LLaVA

KI-GitHub-Repos

LLaVA ist ein Modell für visuelles Instruction Tuning, das große Sprach- und Bildfähigkeiten kombiniert. Es zielt darauf ab, eine Leistung auf GPT-4V-Niveau zu erreichen und…

KI-Modelle & LLMs
Tool ansehen

KI-GitHub-Repos

Modell für visuelles Instruction Tuning, das große Sprach- und Bildfähigkeiten kombiniert. Es zielt darauf ab, eine Leistung auf GPT-4V-Niveau zu erreichen und…LLaVA ist ein Modell für visuelles Instruction Tuning, das große Sprach- und Bildfähigkeiten kombiniert. Es zielt darauf ab, eine Leistung auf GPT-4V-Niveau zu erreichen und…

KI-Modelle & LLMs
Top 250 KI-GitHub-Repos ansehen

gptme ist ein anbieterunabhängiger, lokal-fokussierter KI-Agent, der in jedem Terminal läuft. Er bietet eine leistungsstarke CLI für Coding, Wissensarbeit und autonome…

KI-Programmierassistenten

Platz 219 in KI-Agenten

Tool ansehen

Anbieterunabhängiger, lokal-fokussierter KI-Agent, der in jedem Terminal läuft. Er bietet eine leistungsstarke CLI für Coding, Wissensarbeit und autonome…gptme ist ein anbieterunabhängiger, lokal-fokussierter KI-Agent, der in jedem Terminal läuft. Er bietet eine leistungsstarke CLI für Coding, Wissensarbeit und autonome…

KI-Programmierassistenten
Platz 219 in KI-Agenten
1 von 8