Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

Mage-VL-Cowork

LLMs#78Modelos de IA e LLMsCódigo aberto · Web

Mage-VL-Cowork é um agente híbrido multimodal de uso de computador com 4 bilhões de parâmetros desenvolvido pela Microsoft. Ele integra interação com GUI baseada em capturas de tela e execução persistente de código/terminal dentro de uma única política de visão-linguagem. Este modelo se destaca em tarefas complexas de computador, demonstrando desempenho de classe mundial para sua escala e avançando a fronteira da inteligência em dispositivos para agentes de desktop autônomos.

Visitar URL
Compartilhar
Captura de tela do Mage-VL-Cowork
Captura de tela do Mage-VL-Cowork

Mage-VL-Cowork é um sofisticado agente híbrido multimodal de uso de computador com 4 bilhões de parâmetros desenvolvido pela equipe Mage da Microsoft. Ele foi projetado para preencher a lacuna entre agentes de uso de computador baseados em pixels (CUAs) e aqueles com acesso ingênuo a ferramentas de GUI e terminal. O modelo alcança competência híbrida ao combinar interação com GUI baseada em capturas de tela (`computer_use`) e execução persistente de código/terminal (`bash`) dentro de uma única política de visão-linguagem, eliminando a necessidade de um orquestrador externo.

Ler mais

O treinamento do modelo envolve um currículo progressivo de cinco etapas, começando a partir de um ponto de verificação intermediário de 4 bilhões de parâmetros do Mage-VL. Este currículo constrói uma forte base de ancoragem visual independente, execução de GUI e competência em codificação/terminal antes de unificá-los por meio de SFT Híbrido e RL Híbrido Online assíncrono. Um aspecto chave de seu desenvolvimento é a evolução do suporte ao professor, que elimina rotas de ação redundantes e equipa bibliotecas de domínio, levando a ganhos significativos na destilação do aluno.

Mage-VL-Cowork também aproveita o Mage-CUA-Forge, um motor de síntese orientado a fluxo de trabalho que gera um grande número de tarefas em habilidades atômicas, reduzindo drasticamente os custos de geração recorrente por tarefa. Essa abordagem reduz o consumo de tokens e despesas em comparação com métodos de construção padrão orientados a agentes.

Com 4 bilhões de parâmetros, Mage-VL-Cowork alcança 66,0% no OSWorld-Verified sob um orçamento de 50 etapas, marcando o melhor desempenho entre modelos de seu tamanho. Ele demonstra forte execução em tarefas de Sistema Operacional (87,5%) e Fluxos de Trabalho Multi-Aplicação (62,7%). A eficiência do modelo é ainda aprimorada pelo aprendizado por reforço online, que adiciona melhorias significativas de precisão enquanto reduz simultaneamente as chamadas médias do modelo e os tokens de saída. Sua memória de trabalho assimétrica permite gerenciar tarefas de desktop de longo prazo comprimindo turnos anteriores e retendo dados visuais e de resposta recentes.

Mage-VL-Cowork é lançado sob a Licença Apache-2.0 e é destinado a implantação em ambientes de sandbox isolados e descartáveis devido às suas capacidades autônomas. Ele suporta arquitetura multimodal personalizada e requer configurações específicas para inferência, incluindo um contrato unificado de dois canais para interações de GUI e terminal.

  • CategoriaModelos de IA e LLMs
  • Modelo de preçosCódigo aberto
  • ImplantaçãoNuvem
  • PlataformasWeb

  • Uso Híbrido de Computador: Combina interação com GUI e execução de terminal dentro de uma única política.

  • 4 Bilhões de Parâmetros: Alcança desempenho de classe mundial na escala de 4 bilhões.

  • Arquitetura Multimodal: Modelo de Imagem-Texto-para-Texto baseado na arquitetura llava_onevision2.

  • Currículo de Treinamento em Cinco Etapas: Abordagem progressiva de especialização e unificação para desenvolvimento abrangente de habilidades.

  • Suportes de Professor Evoluídos: Amplifica a destilação do aluno e melhora a eficiência.

  • Síntese de Ambiente Orientada a Fluxo de Trabalho (Mage-CUA-Forge): Reduz o custo de geração de tarefas e o consumo de tokens.

  • Roteamento de Canal em Nível de Turno Internalizado: Seleciona dinamicamente entre GUI e bash para execução ideal.

  • Alto Desempenho Verificado pelo OSWorld: Alcança 66,0% em tarefas verificadas pelo OSWorld.

  • Execução Forte em Fluxos de Trabalho de OS e Multi-Aplicação: 87,5% em tarefas de OS, 62,7% em Fluxos de Trabalho Multi-Aplicação.

  • Aprendizado por Reforço Online: Melhora a precisão em +10,16 pp e reduz chamadas do modelo/tokens de saída.

  • Memória de Trabalho Assimétrica: Gerencia tarefas de longo prazo com memória comprimida e janela visual ativa.

  • Ponto de Verificação Unificado: Lida com ancoragem visual, manipulação de GUI, operações programáticas e troca de canais.

  • Licença Apache-2.0: Licença de código aberto para uso e distribuição.

  • Arquitetura Multimodal Personalizada: Usa llava_onevision2 com Qwen2_5_VLProcessor.

  1. Instalar Dependências: Configure o ambiente necessário, incluindo SGLang, PyTorch e Transformers.

  2. Servir com SGLang: Inicie o servidor de inferência GPU usando o contêiner Docker fornecido ou um ambiente personalizado.

  3. Configurar Solicitações Multimodais: Renderize prompts com AutoProcessor.apply_chat_template e envie cargas de imagem em base64 para o endpoint /generate do SGLang.

  4. Aplicar Parâmetros de Amostragem: Use configurações recomendadas como temperatura 0,7, top_p 0,8 e max_new_tokens 4096.

  5. Implementar Prompt do Sistema e Esquema de Ferramenta: Use o contrato unificado de dois canais exato para computer_use e bash.

  6. Realizar Inferência Offline com Transformers: Utilize o modelo para inferência com exemplos fornecidos.

  7. Reproduzir Avaliação Verificada pelo OSWorld: Inicie o tempo de execução do SGLang e execute o suporte de avaliação verificada pelo OSWorld.

  8. Implantar com Segurança: Sempre execute o agente em um ambiente de sandbox isolado com autorização restrita e zero exposição de credenciais.

  • Automação de Desktop Autônoma
  • Interação com GUI
  • Edição Programática de Arquivos
  • Operações de Sistema
  • Interação com Ambiente Web
  • Tarefas de Engenharia de Software
  • Inteligência em Dispositivo
  • Pesquisa e Desenvolvimento

Ferramentas de IA populares como Mage-VL-Cowork

DeepSeek-V4-Flash-Vision-Exp é um modelo multimodal experimental da família DeepSeek-V4, que aprimora as capacidades de compreensão visual. Ele se baseia na arquitetura…

Modelos de IA e LLMs

Nº 70 em LLMs

Ver ferramenta

Modelo multimodal experimental da família DeepSeek-V4, que aprimora as capacidades de compreensão visual. Ele se baseia na arquitetura…DeepSeek-V4-Flash-Vision-Exp é um modelo multimodal experimental da família DeepSeek-V4, que aprimora as capacidades de compreensão visual. Ele se baseia na arquitetura…

Modelos de IA e LLMs
Nº 70 em LLMs

LiquidAI LFM2.5-2.6B é um modelo híbrido projetado para implantação em dispositivos, oferecendo inferência eficiente e capacidades agenticas. Suporta múltiplas línguas e é…

Modelos de IA e LLMs

Nº 26 em LLMs

Ver ferramenta

Modelo híbrido projetado para implantação em dispositivos, oferecendo inferência eficiente e capacidades agenticas. Suporta múltiplas línguas e é…LiquidAI LFM2.5-2.6B é um modelo híbrido projetado para implantação em dispositivos, oferecendo inferência eficiente e capacidades agenticas. Suporta múltiplas línguas e é…

Modelos de IA e LLMs
Nº 26 em LLMs

Método para analisar capturas de tela de interfaces de usuário em elementos estruturados. Ele aprimora a capacidade de modelos de linguagem de visão como o GPT-4V…OmniParser é um método para analisar capturas de tela de interfaces de usuário em elementos estruturados. Ele aprimora a capacidade de modelos de linguagem de visão como o GPT-4V…

Modelos de IA e LLMs
Ver o Top 5 de Modelos de IA

O Command A+ é um modelo Mixture of Experts com 25B de parâmetros ativos e 218B no total, projetado para raciocínio complexo, visão e tarefas multilíngues em 48 idiomas,…

Modelos de IA e LLMs
Ver ferramenta

O Command A+ é um modelo Mixture of Experts com 25B de parâmetros ativos e 218B no total, projetado para raciocínio complexo, visão e tarefas multilíngues em 48 idiomas,…

DestaqueModelos de IA e LLMs
Ver o Top 5 de Modelos de IA

Spark-X2.6-4B é um modelo de linguagem compacto e de uso geral projetado para implantação em dispositivos. Oferece capacidades aprimoradas de codificação, suporte multilíngue e…

Modelos de IA e LLMs
Ver ferramenta

Modelo de linguagem compacto e de uso geral projetado para implantação em dispositivos. Oferece capacidades aprimoradas de codificação, suporte multilíngue e…Spark-X2.6-4B é um modelo de linguagem compacto e de uso geral projetado para implantação em dispositivos. Oferece capacidades aprimoradas de codificação, suporte multilíngue e…

Modelos de IA e LLMs
Ver o Top 100 de LLMs

MiniMax-M3.1-Flash é um modelo multimodal de mistura de especialistas projetado para codificação, fluxos de trabalho agentes e cibersegurança. Ele suporta entradas de texto,…

Modelos de IA e LLMs

Nº 84 em LLMs

Ver ferramenta

Modelo multimodal de mistura de especialistas projetado para codificação, fluxos de trabalho agentes e cibersegurança. Ele suporta entradas de texto,…MiniMax-M3.1-Flash é um modelo multimodal de mistura de especialistas projetado para codificação, fluxos de trabalho agentes e cibersegurança. Ele suporta entradas de texto,…

Modelos de IA e LLMs
Nº 84 em LLMs

LLaVA

Repositórios de IA no GitHub

LLaVA é um modelo de ajuste de instruções visuais que combina capacidades de linguagem e visão de grande escala. Seu objetivo é atingir desempenho de nível GPT-4V, permitindo…

Modelos de IA e LLMs
Ver ferramenta

Repositórios de IA no GitHub

Modelo de ajuste de instruções visuais que combina capacidades de linguagem e visão de grande escala. Seu objetivo é atingir desempenho de nível GPT-4V, permitindo…LLaVA é um modelo de ajuste de instruções visuais que combina capacidades de linguagem e visão de grande escala. Seu objetivo é atingir desempenho de nível GPT-4V, permitindo…

Modelos de IA e LLMs
Ver o Top 250 de Repositórios de IA no GitHub

gptme é um agente de IA local-first e independente de provedor que roda em qualquer terminal. Ele oferece uma poderosa CLI para codificação, trabalho de conhecimento e tarefas de…

Assistentes de programação com IA

Nº 219 em Agentes de IA

Ver ferramenta

Agente de IA local-first e independente de provedor que roda em qualquer terminal. Ele oferece uma poderosa CLI para codificação, trabalho de conhecimento e tarefas de…gptme é um agente de IA local-first e independente de provedor que roda em qualquer terminal. Ele oferece uma poderosa CLI para codificação, trabalho de conhecimento e tarefas de…

Assistentes de programação com IA
Nº 219 em Agentes de IA
1 de 8