Descripción
Mage-VL-Cowork es un sofisticado agente híbrido multimodal de uso informático con 4 mil millones de parámetros desarrollado por el equipo de Mage de Microsoft. Está diseñado para cerrar la brecha entre los agentes de uso informático basados en píxeles (CUAs) y aquellos con acceso ingenuo tanto a herramientas GUI como de terminal. El modelo logra competencia híbrida al combinar interacción GUI basada en capturas de pantalla (`computer_use`) y ejecución persistente de código/terminal (`bash`) dentro de una única política de visión-lenguaje, eliminando la necesidad de un orquestador externo.
Leer más
El entrenamiento del modelo implica un currículo progresivo de cinco etapas que especializa y luego unifica, comenzando desde un punto de control intermedio de 4B Mage-VL. Este currículo construye una sólida base de anclaje visual independiente, ejecución GUI y competencia en codificación/terminal antes de unificarlos a través de SFT Híbrido y RL Híbrido en Línea asíncrono. Un aspecto clave de su desarrollo es la evolución del arnés del maestro, que poda rutas de acción redundantes y equipa bibliotecas de dominio, lo que lleva a ganancias significativas en la destilación del estudiante.
Mage-VL-Cowork también aprovecha Mage-CUA-Forge, un motor de síntesis orientado al flujo de trabajo que genera una gran cantidad de tareas a través de habilidades atómicas mientras reduce drásticamente los costos de generación recurrentes por tarea. Este enfoque reduce el consumo de tokens y el gasto en comparación con los métodos de construcción estándar orientados al agente.
Con 4 mil millones de parámetros, Mage-VL-Cowork logra un 66.0% en OSWorld-Verified bajo un presupuesto de 50 pasos, marcando el mejor rendimiento entre modelos de su tamaño. Demuestra una fuerte ejecución en tareas del sistema operativo (87.5%) y flujos de trabajo de múltiples aplicaciones (62.7%). La eficiencia del modelo se ve aún más mejorada por el aprendizaje por refuerzo en línea, que añade mejoras significativas en precisión mientras reduce simultáneamente las llamadas al modelo y los tokens de salida. Su memoria de trabajo asimétrica le permite gestionar tareas de escritorio a largo plazo al comprimir turnos anteriores y retener datos visuales y de respuesta recientes.
Mage-VL-Cowork se publica bajo la Licencia Apache-2.0 y está destinado a ser implementado en entornos de sandbox aislados y desechables debido a sus capacidades autónomas. Soporta arquitectura multimodal personalizada y requiere configuraciones específicas para la inferencia, incluyendo un contrato unificado de dos canales para interacciones GUI y de terminal.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de Mage-VL-Cowork
Uso Híbrido de Computadora: Combina interacción GUI y ejecución de terminal dentro de una única política.
4 Mil Millones de Parámetros: Logra un rendimiento de clase mundial a la escala de 4B.
Arquitectura Multimodal: Modelo de Imagen-Texto-a-Texto basado en la arquitectura llava_onevision2.
Currículo de Entrenamiento de Cinco Etapas: Enfoque progresivo de especialización y unificación para el desarrollo integral de habilidades.
Arneses de Maestro Evolucionados: Amplifica la destilación del estudiante y mejora la eficiencia.
Síntesis de Entorno Orientada al Flujo de Trabajo (Mage-CUA-Forge): Reduce el costo de generación de tareas y el consumo de tokens.
Enrutamiento de Canal a Nivel de Turno Internalizado: Selecciona dinámicamente entre GUI y bash para una ejecución óptima.
Alto Rendimiento Verificado por OSWorld: Logra un 66.0% en tareas verificadas por OSWorld.
Fuerte Ejecución de OS y Flujos de Trabajo de Múltiples Aplicaciones: 87.5% en tareas de OS, 62.7% en flujos de trabajo de múltiples aplicaciones.
Aprendizaje por Refuerzo en Línea: Mejora la precisión en +10.16 pp y reduce las llamadas al modelo/tokens de salida.
Memoria de Trabajo Asimétrica: Gestiona tareas a largo plazo con memoria plegada y ventana visual activa.
Punto de Control Unificado: Maneja anclaje visual, manipulación GUI, operaciones programáticas y cambio de canal.
Licencia Apache-2.0: Licencia de código abierto para uso y distribución.
Arquitectura Multimodal Personalizada: Utiliza llava_onevision2 con Qwen2_5_VLProcessor.
Primeros pasos con Mage-VL-Cowork
Instalar Dependencias: Configurar el entorno requerido, incluyendo SGLang, PyTorch y Transformers.
Servir con SGLang: Lanzar el servidor de inferencia GPU utilizando el contenedor Docker proporcionado o un entorno personalizado.
Configurar Solicitudes Multimodales: Renderizar prompts con AutoProcessor.apply_chat_template y enviar cargas de imagen en base64 al endpoint /generate de SGLang.
Aplicar Parámetros de Muestreo: Usar configuraciones recomendadas como temperatura 0.7, top_p 0.8 y max_new_tokens 4096.
Implementar Prompt del Sistema y Esquema de Herramientas: Usar el contrato unificado de dos canales exacto para computer_use y bash.
Realizar Inferencia de Transformers Fuera de Línea: Utilizar el modelo para inferencia con ejemplos proporcionados.
Reproducir Evaluación Verificada por OSWorld: Lanzar el tiempo de ejecución de SGLang y ejecutar el arnés de evaluación verificado por OSWorld.
Desplegar de Forma Segura: Siempre ejecutar el agente en un entorno de sandbox aislado con autorización limitada y sin exposición de credenciales.
Casos de uso de Mage-VL-Cowork
- Automatización de Escritorio Autónoma
- Interacción GUI
- Edición de Archivos Programática
- Operaciones del Sistema
- Interacción con Entornos Web
- Tareas de Ingeniería de Software
- Inteligencia en el Dispositivo
- Investigación y Desarrollo











