Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

Mage-VL-Cowork

LLM#78Modèles d'IA et LLMOpen source · Web

Mage-VL-Cowork est un agent hybride multimodal de 4 milliards de paramètres développé par Microsoft. Il intègre l'interaction GUI basée sur des captures d'écran et l'exécution de code/terminal persistante au sein d'une seule politique de vision-langage. Ce modèle excelle dans les tâches informatiques complexes, démontrant des performances de premier ordre pour son échelle et repoussant les limites de l'intelligence sur appareil pour les agents de bureau autonomes.

Visiter l'URL
Partager
Capture d’écran de Mage-VL-Cowork
Capture d’écran de Mage-VL-Cowork

Mage-VL-Cowork est un agent hybride multimodal sophistiqué de 4 milliards de paramètres développé par l'équipe Mage de Microsoft. Il est conçu pour combler le fossé entre les agents d'utilisation informatique basés sur des pixels (CUAs) et ceux ayant un accès naïf à la fois aux outils GUI et terminal. Le modèle atteint une compétence hybride en combinant l'interaction GUI basée sur des captures d'écran (`computer_use`) et l'exécution de code/terminal persistante (`bash`) au sein d'une seule politique de vision-langage, éliminant ainsi le besoin d'un orchestrateur externe.

Lire la suite

L'entraînement du modèle implique un curriculum progressif en cinq étapes, commençant par un point de contrôle intermédiaire de 4 milliards de paramètres Mage-VL. Ce curriculum construit une solide base de visualisation autonome, d'exécution GUI et de compétence en codage/terminal avant de les unifier par le biais de Hybrid SFT et de l'apprentissage par renforcement hybride en ligne asynchrone. Un aspect clé de son développement est l'évolution du harnais d'enseignant, qui émonde les routes d'action redondantes et équipe les bibliothèques de domaine, entraînant des gains significatifs en distillation des étudiants.

Mage-VL-Cowork tire également parti de Mage-CUA-Forge, un moteur de synthèse axé sur le flux de travail qui génère un grand nombre de tâches à travers des compétences atomiques tout en réduisant considérablement les coûts de génération récurrents par tâche. Cette approche réduit la consommation de jetons et les dépenses par rapport aux méthodes de construction standard axées sur les agents.

Avec 4 milliards de paramètres, Mage-VL-Cowork atteint 66,0 % sur OSWorld-Verified sous un budget de 50 étapes, marquant la meilleure performance parmi les modèles de sa taille. Il démontre une forte exécution sur les tâches de système d'exploitation (87,5 %) et les flux de travail multi-applications (62,7 %). L'efficacité du modèle est encore améliorée par l'apprentissage par renforcement en ligne, qui ajoute des améliorations significatives de précision tout en réduisant simultanément les appels moyens au modèle et les jetons de sortie. Sa mémoire de travail asymétrique lui permet de gérer des tâches de bureau à long terme en compressant les tours précédents et en conservant les données visuelles et de réponse récentes.

Mage-VL-Cowork est publié sous la licence Apache-2.0 et est destiné à être déployé dans des environnements de bac à sable isolés et jetables en raison de ses capacités autonomes. Il prend en charge une architecture multimodale personnalisée et nécessite des configurations spécifiques pour l'inférence, y compris un contrat unifié à deux canaux pour les interactions GUI et terminal.

  • CatégorieModèles d'IA et LLM
  • Modèle tarifaireOpen source
  • DéploiementCloud
  • PlateformesWeb

  • Utilisation hybride de l'ordinateur : Combine l'interaction GUI et l'exécution terminale au sein d'une seule politique.

  • 4 milliards de paramètres : Atteint des performances de premier ordre à l'échelle de 4 milliards.

  • Architecture multimodale : Modèle Image-Texte-à-Texte basé sur l'architecture llava_onevision2.

  • Curriculum de formation en cinq étapes : Approche progressive de spécialisation puis d'unification pour un développement complet des compétences.

  • Harnais d'enseignant évolués : Amplifie la distillation des étudiants et améliore l'efficacité.

  • Synthèse d'environnement axée sur le flux de travail (Mage-CUA-Forge) : Réduit le coût de génération des tâches et la consommation de jetons.

  • Routage de canal au niveau des tours internalisé : Sélectionne dynamiquement entre GUI et bash pour une exécution optimale.

  • Performance élevée vérifiée par OSWorld : Atteint 66,0 % sur les tâches vérifiées par OSWorld.

  • Exécution solide des tâches OS et des flux de travail multi-applications : 87,5 % sur les tâches OS, 62,7 % sur les flux de travail multi-applications.

  • Apprentissage par renforcement en ligne : Améliore la précision de +10,16 pp et réduit les appels au modèle/jetons de sortie.

  • Mémoire de travail asymétrique : Gère les tâches à long terme avec une mémoire compressée et une fenêtre visuelle active.

  • Point de contrôle unifié : Gère la visualisation, la manipulation GUI, les opérations programmatiques et le changement de canal.

  • Licence Apache-2.0 : Licence open-source pour l'utilisation et la distribution.

  • Architecture multimodale personnalisée : Utilise llava_onevision2 avec Qwen2_5_VLProcessor.

  1. Installer les dépendances : Configurez l'environnement requis, y compris SGLang, PyTorch et Transformers.

  2. Servir avec SGLang : Lancez le serveur d'inférence GPU en utilisant le conteneur Docker fourni ou un environnement personnalisé.

  3. Configurer les requêtes multimodales : Rendre les invites avec AutoProcessor.apply_chat_template et envoyer des charges utiles d'image base64 à l'endpoint /generate de SGLang.

  4. Appliquer les paramètres d'échantillonnage : Utilisez les paramètres recommandés comme température 0,7, top_p 0,8 et max_new_tokens 4096.

  5. Mettre en œuvre le système de prompt et le schéma d'outils : Utilisez le contrat unifié à deux canaux exact pour computer_use et bash.

  6. Effectuer une inférence Transformers hors ligne : Utilisez le modèle pour l'inférence avec les exemples fournis.

  7. Reproduire l'évaluation vérifiée par OSWorld : Lancez l'exécution de SGLang et exécutez le harnais d'évaluation vérifié par OSWorld.

  8. Déployer en toute sécurité : Exécutez toujours l'agent dans un environnement de bac à sable isolé avec une autorisation limitée et aucune exposition de crédentiels.

  • Automatisation de bureau autonome
  • Interaction GUI
  • Édition de fichiers programmatiques
  • Opérations système
  • Interaction avec l'environnement web
  • Tâches d'ingénierie logicielle
  • Intelligence sur appareil
  • Recherche et développement

Outils IA populaires comme Mage-VL-Cowork

DeepSeek-V4-Flash-Vision-Exp est un modèle multimodal expérimental de la famille DeepSeek-V4, améliorant les capacités de compréhension visuelle. Il s'appuie sur l'architecture…

Modèles d'IA et LLM

N°70 en LLM

Voir l'outil

Modèle multimodal expérimental de la famille DeepSeek-V4, améliorant les capacités de compréhension visuelle. Il s'appuie sur l'architecture…DeepSeek-V4-Flash-Vision-Exp est un modèle multimodal expérimental de la famille DeepSeek-V4, améliorant les capacités de compréhension visuelle. Il s'appuie sur l'architecture…

Modèles d'IA et LLM
N°70 en LLM

LiquidAI LFM2.5-2.6B est un modèle hybride conçu pour le déploiement sur appareil, offrant une inférence efficace et des capacités agentiques. Il prend en charge plusieurs langues…

Modèles d'IA et LLM

N°26 en LLM

Voir l'outil

Modèle hybride conçu pour le déploiement sur appareil, offrant une inférence efficace et des capacités agentiques. Il prend en charge plusieurs langues…LiquidAI LFM2.5-2.6B est un modèle hybride conçu pour le déploiement sur appareil, offrant une inférence efficace et des capacités agentiques. Il prend en charge plusieurs langues…

Modèles d'IA et LLM
N°26 en LLM

OmniParser est une méthode permettant d'analyser des captures d'écran d'interface utilisateur en éléments structurés. Il améliore la capacité des modèles de langage visuels comme…

Modèles d'IA et LLM
Voir l'outil

Méthode permettant d'analyser des captures d'écran d'interface utilisateur en éléments structurés. Il améliore la capacité des modèles de langage visuels comme…OmniParser est une méthode permettant d'analyser des captures d'écran d'interface utilisateur en éléments structurés. Il améliore la capacité des modèles de langage visuels comme…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Command A+ est un modèle Mixture of Experts avec 25B de paramètres actifs et 218B au total, conçu pour des tâches de raisonnement complexe, de vision et multilingues dans 48…

Modèles d'IA et LLM
Voir l'outil

Command A+ est un modèle Mixture of Experts avec 25B de paramètres actifs et 218B au total, conçu pour des tâches de raisonnement complexe, de vision et multilingues dans 48…

En vedetteModèles d'IA et LLM
Voir le Top 5 Modèles IA

Spark-X2.6-4B est un modèle de langage compact et polyvalent conçu pour un déploiement sur appareil. Il offre des capacités de codage, multilingues et de raisonnement améliorées,…

Modèles d'IA et LLM
Voir l'outil

Modèle de langage compact et polyvalent conçu pour un déploiement sur appareil. Il offre des capacités de codage, multilingues et de raisonnement améliorées,…Spark-X2.6-4B est un modèle de langage compact et polyvalent conçu pour un déploiement sur appareil. Il offre des capacités de codage, multilingues et de raisonnement améliorées,…

Modèles d'IA et LLM
Voir le Top 100 LLM

MiniMax-M3.1-Flash est un modèle multimodal de mélange d'experts conçu pour le codage, les flux de travail agentiques et la cybersécurité. Il prend en charge les entrées de texte,…

Modèles d'IA et LLM

N°84 en LLM

Voir l'outil

Modèle multimodal de mélange d'experts conçu pour le codage, les flux de travail agentiques et la cybersécurité. Il prend en charge les entrées de texte,…MiniMax-M3.1-Flash est un modèle multimodal de mélange d'experts conçu pour le codage, les flux de travail agentiques et la cybersécurité. Il prend en charge les entrées de texte,…

Modèles d'IA et LLM
N°84 en LLM

LLaVA

Dépôts GitHub d'IA

LLaVA est un modèle d'ajustement d'instructions visuelles qui combine les capacités des grands modèles de langage et de vision. Il vise à atteindre des performances de niveau…

Modèles d'IA et LLM
Voir l'outil

Dépôts GitHub d'IA

Modèle d'ajustement d'instructions visuelles qui combine les capacités des grands modèles de langage et de vision. Il vise à atteindre des performances de niveau…LLaVA est un modèle d'ajustement d'instructions visuelles qui combine les capacités des grands modèles de langage et de vision. Il vise à atteindre des performances de niveau…

Modèles d'IA et LLM
Voir le Top 250 Dépôts GitHub d'IA

gptme est un agent IA local-en-premier, indépendant des fournisseurs, qui s'exécute dans n'importe quel terminal. Il offre une CLI puissante pour le codage, le travail de…

Assistants de codage IA

N°219 en Agents IA

Voir l'outil

Agent IA local-en-premier, indépendant des fournisseurs, qui s'exécute dans n'importe quel terminal. Il offre une CLI puissante pour le codage, le travail de…gptme est un agent IA local-en-premier, indépendant des fournisseurs, qui s'exécute dans n'importe quel terminal. Il offre une CLI puissante pour le codage, le travail de…

Assistants de codage IA
N°219 en Agents IA
1 sur 8