Descrição
Mage-VL-Cowork é um sofisticado agente híbrido multimodal de uso de computador com 4 bilhões de parâmetros desenvolvido pela equipe Mage da Microsoft. Ele foi projetado para preencher a lacuna entre agentes de uso de computador baseados em pixels (CUAs) e aqueles com acesso ingênuo a ferramentas de GUI e terminal. O modelo alcança competência híbrida ao combinar interação com GUI baseada em capturas de tela (`computer_use`) e execução persistente de código/terminal (`bash`) dentro de uma única política de visão-linguagem, eliminando a necessidade de um orquestrador externo.
Ler mais
O treinamento do modelo envolve um currículo progressivo de cinco etapas, começando a partir de um ponto de verificação intermediário de 4 bilhões de parâmetros do Mage-VL. Este currículo constrói uma forte base de ancoragem visual independente, execução de GUI e competência em codificação/terminal antes de unificá-los por meio de SFT Híbrido e RL Híbrido Online assíncrono. Um aspecto chave de seu desenvolvimento é a evolução do suporte ao professor, que elimina rotas de ação redundantes e equipa bibliotecas de domínio, levando a ganhos significativos na destilação do aluno.
Mage-VL-Cowork também aproveita o Mage-CUA-Forge, um motor de síntese orientado a fluxo de trabalho que gera um grande número de tarefas em habilidades atômicas, reduzindo drasticamente os custos de geração recorrente por tarefa. Essa abordagem reduz o consumo de tokens e despesas em comparação com métodos de construção padrão orientados a agentes.
Com 4 bilhões de parâmetros, Mage-VL-Cowork alcança 66,0% no OSWorld-Verified sob um orçamento de 50 etapas, marcando o melhor desempenho entre modelos de seu tamanho. Ele demonstra forte execução em tarefas de Sistema Operacional (87,5%) e Fluxos de Trabalho Multi-Aplicação (62,7%). A eficiência do modelo é ainda aprimorada pelo aprendizado por reforço online, que adiciona melhorias significativas de precisão enquanto reduz simultaneamente as chamadas médias do modelo e os tokens de saída. Sua memória de trabalho assimétrica permite gerenciar tarefas de desktop de longo prazo comprimindo turnos anteriores e retendo dados visuais e de resposta recentes.
Mage-VL-Cowork é lançado sob a Licença Apache-2.0 e é destinado a implantação em ambientes de sandbox isolados e descartáveis devido às suas capacidades autônomas. Ele suporta arquitetura multimodal personalizada e requer configurações específicas para inferência, incluindo um contrato unificado de dois canais para interações de GUI e terminal.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Mage-VL-Cowork
Uso Híbrido de Computador: Combina interação com GUI e execução de terminal dentro de uma única política.
4 Bilhões de Parâmetros: Alcança desempenho de classe mundial na escala de 4 bilhões.
Arquitetura Multimodal: Modelo de Imagem-Texto-para-Texto baseado na arquitetura llava_onevision2.
Currículo de Treinamento em Cinco Etapas: Abordagem progressiva de especialização e unificação para desenvolvimento abrangente de habilidades.
Suportes de Professor Evoluídos: Amplifica a destilação do aluno e melhora a eficiência.
Síntese de Ambiente Orientada a Fluxo de Trabalho (Mage-CUA-Forge): Reduz o custo de geração de tarefas e o consumo de tokens.
Roteamento de Canal em Nível de Turno Internalizado: Seleciona dinamicamente entre GUI e bash para execução ideal.
Alto Desempenho Verificado pelo OSWorld: Alcança 66,0% em tarefas verificadas pelo OSWorld.
Execução Forte em Fluxos de Trabalho de OS e Multi-Aplicação: 87,5% em tarefas de OS, 62,7% em Fluxos de Trabalho Multi-Aplicação.
Aprendizado por Reforço Online: Melhora a precisão em +10,16 pp e reduz chamadas do modelo/tokens de saída.
Memória de Trabalho Assimétrica: Gerencia tarefas de longo prazo com memória comprimida e janela visual ativa.
Ponto de Verificação Unificado: Lida com ancoragem visual, manipulação de GUI, operações programáticas e troca de canais.
Licença Apache-2.0: Licença de código aberto para uso e distribuição.
Arquitetura Multimodal Personalizada: Usa llava_onevision2 com Qwen2_5_VLProcessor.
Primeiros passos com Mage-VL-Cowork
Instalar Dependências: Configure o ambiente necessário, incluindo SGLang, PyTorch e Transformers.
Servir com SGLang: Inicie o servidor de inferência GPU usando o contêiner Docker fornecido ou um ambiente personalizado.
Configurar Solicitações Multimodais: Renderize prompts com AutoProcessor.apply_chat_template e envie cargas de imagem em base64 para o endpoint /generate do SGLang.
Aplicar Parâmetros de Amostragem: Use configurações recomendadas como temperatura 0,7, top_p 0,8 e max_new_tokens 4096.
Implementar Prompt do Sistema e Esquema de Ferramenta: Use o contrato unificado de dois canais exato para computer_use e bash.
Realizar Inferência Offline com Transformers: Utilize o modelo para inferência com exemplos fornecidos.
Reproduzir Avaliação Verificada pelo OSWorld: Inicie o tempo de execução do SGLang e execute o suporte de avaliação verificada pelo OSWorld.
Implantar com Segurança: Sempre execute o agente em um ambiente de sandbox isolado com autorização restrita e zero exposição de credenciais.
Casos de uso de Mage-VL-Cowork
- Automação de Desktop Autônoma
- Interação com GUI
- Edição Programática de Arquivos
- Operações de Sistema
- Interação com Ambiente Web
- Tarefas de Engenharia de Software
- Inteligência em Dispositivo
- Pesquisa e Desenvolvimento











