描述
Mage-VL-Cowork 是由微软 Mage 团队开发的一个复杂的 40 亿参数多模态混合计算代理。它旨在弥合基于像素的计算代理(CUAs)与那些对 GUI 和终端工具具有简单访问的代理之间的差距。该模型通过将基于截图的 GUI 交互(`computer_use`)和持久的代码/终端执行(`bash`)结合在一个单一的视觉-语言策略中,实现了混合能力,消除了对外部协调者的需求。
阅读更多
该模型的训练涉及一个渐进的五阶段专业化-再统一课程,从一个中间的 40 亿 Mage-VL 检查点开始。该课程在通过混合 SFT 和异步在线混合 RL 统一它们之前,构建了强大的独立视觉基础、GUI 执行和编码/终端能力。其开发的一个关键方面是教师工具的演变,它修剪冗余的行动路径并装备领域库,从而带来了显著的学生蒸馏收益。
Mage-VL-Cowork 还利用了 Mage-CUA-Forge,这是一个以工作流为先的合成引擎,能够生成大量跨原子技能的任务,同时大幅降低每个任务的重复生成成本。这种方法相比于标准的代理优先构建方法,减少了令牌消耗和支出。
在 40 亿参数下,Mage-VL-Cowork 在 50 步预算下的 OSWorld-Verified 上达到了 66.0%,标志着其规模模型中的最佳性能。它在操作系统任务(87.5%)和多应用工作流(62.7%)上表现出色。该模型的效率通过在线强化学习进一步增强,显著提高了准确性,同时减少了平均模型调用和输出令牌。其不对称工作记忆使其能够通过压缩早期回合并保留最近的视觉和响应数据来管理长时间的桌面任务。
Mage-VL-Cowork 在 Apache-2.0 许可证下发布,旨在由于其自主能力而在隔离的、一次性的沙箱环境中部署。它支持自定义多模态架构,并需要特定的推理配置,包括用于 GUI 和终端交互的统一双通道合同。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Mage-VL-Cowork亮点
混合计算使用:在单一策略中结合 GUI 交互和终端执行。
40 亿参数:在 40 亿规模下实现最佳性能。
多模态架构:基于 llava_onevision2 架构的图像-文本到文本模型。
五阶段训练课程:渐进的专业化-再统一方法以全面发展技能。
演变的教师工具:增强学生蒸馏并提高效率。
以工作流为先的环境合成(Mage-CUA-Forge):降低任务生成成本和令牌消耗。
内部化的回合级通道路由:动态选择 GUI 和 bash 以实现最佳执行。
高 OSWorld-Verified 性能:在 OSWorld-Verified 任务上达到 66.0%。
强大的操作系统和多应用工作流执行:在操作系统任务上为 87.5%,在多应用工作流上为 62.7%。
在线强化学习:提高准确性 +10.16 个百分点,并减少模型调用/输出令牌。
不对称工作记忆:通过折叠记忆和活动视觉窗口管理长时间任务。
统一检查点:处理视觉基础、GUI 操作、编程操作和通道切换。
Apache-2.0 许可证:用于使用和分发的开源许可证。
自定义多模态架构:使用 llava_onevision2 和 Qwen2_5_VLProcessor。
Mage-VL-Cowork入门
安装依赖项:设置所需的环境,包括 SGLang、PyTorch 和 Transformers。
使用 SGLang 提供服务:使用提供的 Docker 容器或自定义环境启动 GPU 推理服务器。
配置多模态请求:使用 AutoProcessor.apply_chat_template 渲染提示,并将 base64 图像负载发送到 SGLang 的 /generate 端点。
应用采样参数:使用推荐设置,如温度 0.7、top_p 0.8 和 max_new_tokens 4096。
实施系统提示和工具架构:使用计算使用和 bash 的统一双通道合同。
执行离线 Transformers 推理:利用提供的示例进行推理。
重现 OSWorld-Verified 评估:启动 SGLang 运行时并运行 OSWorld-Verified 评估工具。
安全部署:始终在隔离的沙箱环境中运行代理,具有范围授权和零凭证暴露。
Mage-VL-Cowork的使用案例
- 自主桌面自动化
- GUI 交互
- 编程文件编辑
- 系统操作
- Web 环境交互
- 软件工程任务
- 设备智能
- 研究与开发











