Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

Mage-VL-Cowork

LLM#79Modelos de IA y LLMCódigo abierto · Web

Mage-VL-Cowork es un agente híbrido multimodal de uso informático con 4 mil millones de parámetros desarrollado por Microsoft. Integra interacción GUI basada en capturas de pantalla y ejecución persistente de código/terminal dentro de una única política de visión-lenguaje. Este modelo sobresale en tareas informáticas complejas, demostrando un rendimiento de clase mundial para su escala y empujando la frontera de la inteligencia en el dispositivo para agentes de escritorio autónomos.

Visitar URL
Compartir
Captura de pantalla de Mage-VL-Cowork
Captura de pantalla de Mage-VL-Cowork

Mage-VL-Cowork es un sofisticado agente híbrido multimodal de uso informático con 4 mil millones de parámetros desarrollado por el equipo de Mage de Microsoft. Está diseñado para cerrar la brecha entre los agentes de uso informático basados en píxeles (CUAs) y aquellos con acceso ingenuo tanto a herramientas GUI como de terminal. El modelo logra competencia híbrida al combinar interacción GUI basada en capturas de pantalla (`computer_use`) y ejecución persistente de código/terminal (`bash`) dentro de una única política de visión-lenguaje, eliminando la necesidad de un orquestador externo.

Leer más

El entrenamiento del modelo implica un currículo progresivo de cinco etapas que especializa y luego unifica, comenzando desde un punto de control intermedio de 4B Mage-VL. Este currículo construye una sólida base de anclaje visual independiente, ejecución GUI y competencia en codificación/terminal antes de unificarlos a través de SFT Híbrido y RL Híbrido en Línea asíncrono. Un aspecto clave de su desarrollo es la evolución del arnés del maestro, que poda rutas de acción redundantes y equipa bibliotecas de dominio, lo que lleva a ganancias significativas en la destilación del estudiante.

Mage-VL-Cowork también aprovecha Mage-CUA-Forge, un motor de síntesis orientado al flujo de trabajo que genera una gran cantidad de tareas a través de habilidades atómicas mientras reduce drásticamente los costos de generación recurrentes por tarea. Este enfoque reduce el consumo de tokens y el gasto en comparación con los métodos de construcción estándar orientados al agente.

Con 4 mil millones de parámetros, Mage-VL-Cowork logra un 66.0% en OSWorld-Verified bajo un presupuesto de 50 pasos, marcando el mejor rendimiento entre modelos de su tamaño. Demuestra una fuerte ejecución en tareas del sistema operativo (87.5%) y flujos de trabajo de múltiples aplicaciones (62.7%). La eficiencia del modelo se ve aún más mejorada por el aprendizaje por refuerzo en línea, que añade mejoras significativas en precisión mientras reduce simultáneamente las llamadas al modelo y los tokens de salida. Su memoria de trabajo asimétrica le permite gestionar tareas de escritorio a largo plazo al comprimir turnos anteriores y retener datos visuales y de respuesta recientes.

Mage-VL-Cowork se publica bajo la Licencia Apache-2.0 y está destinado a ser implementado en entornos de sandbox aislados y desechables debido a sus capacidades autónomas. Soporta arquitectura multimodal personalizada y requiere configuraciones específicas para la inferencia, incluyendo un contrato unificado de dos canales para interacciones GUI y de terminal.

  • CategoríaModelos de IA y LLM
  • Modelo de preciosCódigo abierto
  • ImplementaciónNube
  • PlataformasWeb

  • Uso Híbrido de Computadora: Combina interacción GUI y ejecución de terminal dentro de una única política.

  • 4 Mil Millones de Parámetros: Logra un rendimiento de clase mundial a la escala de 4B.

  • Arquitectura Multimodal: Modelo de Imagen-Texto-a-Texto basado en la arquitectura llava_onevision2.

  • Currículo de Entrenamiento de Cinco Etapas: Enfoque progresivo de especialización y unificación para el desarrollo integral de habilidades.

  • Arneses de Maestro Evolucionados: Amplifica la destilación del estudiante y mejora la eficiencia.

  • Síntesis de Entorno Orientada al Flujo de Trabajo (Mage-CUA-Forge): Reduce el costo de generación de tareas y el consumo de tokens.

  • Enrutamiento de Canal a Nivel de Turno Internalizado: Selecciona dinámicamente entre GUI y bash para una ejecución óptima.

  • Alto Rendimiento Verificado por OSWorld: Logra un 66.0% en tareas verificadas por OSWorld.

  • Fuerte Ejecución de OS y Flujos de Trabajo de Múltiples Aplicaciones: 87.5% en tareas de OS, 62.7% en flujos de trabajo de múltiples aplicaciones.

  • Aprendizaje por Refuerzo en Línea: Mejora la precisión en +10.16 pp y reduce las llamadas al modelo/tokens de salida.

  • Memoria de Trabajo Asimétrica: Gestiona tareas a largo plazo con memoria plegada y ventana visual activa.

  • Punto de Control Unificado: Maneja anclaje visual, manipulación GUI, operaciones programáticas y cambio de canal.

  • Licencia Apache-2.0: Licencia de código abierto para uso y distribución.

  • Arquitectura Multimodal Personalizada: Utiliza llava_onevision2 con Qwen2_5_VLProcessor.

  1. Instalar Dependencias: Configurar el entorno requerido, incluyendo SGLang, PyTorch y Transformers.

  2. Servir con SGLang: Lanzar el servidor de inferencia GPU utilizando el contenedor Docker proporcionado o un entorno personalizado.

  3. Configurar Solicitudes Multimodales: Renderizar prompts con AutoProcessor.apply_chat_template y enviar cargas de imagen en base64 al endpoint /generate de SGLang.

  4. Aplicar Parámetros de Muestreo: Usar configuraciones recomendadas como temperatura 0.7, top_p 0.8 y max_new_tokens 4096.

  5. Implementar Prompt del Sistema y Esquema de Herramientas: Usar el contrato unificado de dos canales exacto para computer_use y bash.

  6. Realizar Inferencia de Transformers Fuera de Línea: Utilizar el modelo para inferencia con ejemplos proporcionados.

  7. Reproducir Evaluación Verificada por OSWorld: Lanzar el tiempo de ejecución de SGLang y ejecutar el arnés de evaluación verificado por OSWorld.

  8. Desplegar de Forma Segura: Siempre ejecutar el agente en un entorno de sandbox aislado con autorización limitada y sin exposición de credenciales.

  • Automatización de Escritorio Autónoma
  • Interacción GUI
  • Edición de Archivos Programática
  • Operaciones del Sistema
  • Interacción con Entornos Web
  • Tareas de Ingeniería de Software
  • Inteligencia en el Dispositivo
  • Investigación y Desarrollo

Herramientas de IA populares como Mage-VL-Cowork

DeepSeek-V4-Flash-Vision-Exp es un modelo multimodal experimental de la familia DeepSeek-V4, que mejora las capacidades de comprensión visual. Se basa en la arquitectura…

Modelos de IA y LLM

N.º 69 en LLM

Ver herramienta

Modelo multimodal experimental de la familia DeepSeek-V4, que mejora las capacidades de comprensión visual. Se basa en la arquitectura…DeepSeek-V4-Flash-Vision-Exp es un modelo multimodal experimental de la familia DeepSeek-V4, que mejora las capacidades de comprensión visual. Se basa en la arquitectura…

Modelos de IA y LLM
N.º 69 en LLM

LiquidAI LFM2.5-2.6B es un modelo híbrido diseñado para implementación en dispositivos, ofreciendo inferencia eficiente y capacidades agenticas. Soporta múltiples idiomas y está…

Modelos de IA y LLM

N.º 28 en LLM

Ver herramienta

Modelo híbrido diseñado para implementación en dispositivos, ofreciendo inferencia eficiente y capacidades agenticas. Soporta múltiples idiomas y está…LiquidAI LFM2.5-2.6B es un modelo híbrido diseñado para implementación en dispositivos, ofreciendo inferencia eficiente y capacidades agenticas. Soporta múltiples idiomas y está…

Modelos de IA y LLM
N.º 28 en LLM

Método para analizar capturas de pantalla de interfaces de usuario en elementos estructurados. Mejora la capacidad de los modelos de lenguaje de visión como…OmniParser es un método para analizar capturas de pantalla de interfaces de usuario en elementos estructurados. Mejora la capacidad de los modelos de lenguaje de visión como…

Modelos de IA y LLM
Ver el Top 5 de Modelos de IA

Command A+ es un modelo Mixture of Experts con 25B de parámetros activos y 218B en total, diseñado para razonamiento complejo, visión y tareas multilingües en 48 idiomas,…

Modelos de IA y LLM
Ver herramienta

Spark-X2.6-4B es un modelo de lenguaje compacto y de propósito general diseñado para implementación en dispositivos. Ofrece capacidades mejoradas de codificación, multilingües y…

Modelos de IA y LLM
Ver herramienta

Modelo de lenguaje compacto y de propósito general diseñado para implementación en dispositivos. Ofrece capacidades mejoradas de codificación, multilingües y…Spark-X2.6-4B es un modelo de lenguaje compacto y de propósito general diseñado para implementación en dispositivos. Ofrece capacidades mejoradas de codificación, multilingües y…

Modelos de IA y LLM
Ver el Top 100 de LLM

MiniMax-M3.1-Flash es un modelo multimodal de mezcla de expertos diseñado para la codificación, flujos de trabajo agenticos y ciberseguridad. Soporta entradas de texto, imagen y…

Modelos de IA y LLM

N.º 75 en LLM

Ver herramienta

Modelo multimodal de mezcla de expertos diseñado para la codificación, flujos de trabajo agenticos y ciberseguridad. Soporta entradas de texto, imagen y…MiniMax-M3.1-Flash es un modelo multimodal de mezcla de expertos diseñado para la codificación, flujos de trabajo agenticos y ciberseguridad. Soporta entradas de texto, imagen y…

Modelos de IA y LLM
N.º 75 en LLM

LLaVA

Repositorios de IA en GitHub

LLaVA es un modelo de ajuste de instrucciones visuales que combina capacidades de lenguaje y visión a gran escala. Su objetivo es alcanzar un rendimiento a nivel de GPT-4V,…

Modelos de IA y LLM
Ver herramienta

Repositorios de IA en GitHub

Modelo de ajuste de instrucciones visuales que combina capacidades de lenguaje y visión a gran escala. Su objetivo es alcanzar un rendimiento a nivel de GPT-4V,…LLaVA es un modelo de ajuste de instrucciones visuales que combina capacidades de lenguaje y visión a gran escala. Su objetivo es alcanzar un rendimiento a nivel de GPT-4V,…

Modelos de IA y LLM
Ver el Top 250 de Repositorios de IA en GitHub

gptme es un agente de IA local-first y agnóstico al proveedor que se ejecuta en cualquier terminal. Ofrece una potente CLI para codificación, trabajo de conocimiento y tareas de…

Asistentes de programación con IA

N.º 218 en Agentes de IA

Ver herramienta

Agente de IA local-first y agnóstico al proveedor que se ejecuta en cualquier terminal. Ofrece una potente CLI para codificación, trabajo de conocimiento y tareas de…gptme es un agente de IA local-first y agnóstico al proveedor que se ejecuta en cualquier terminal. Ofrece una potente CLI para codificación, trabajo de conocimiento y tareas de…

Asistentes de programación con IA
N.º 218 en Agentes de IA
1 de 8