Описание
Mage-VL-Cowork — это сложный агент с гибридным использованием компьютера на 4 миллиарда параметров, разработанный командой Microsoft Mage. Он предназначен для преодоления разрыва между агентами, использующими пиксели (CUAs), и теми, кто имеет наивный доступ как к графическому интерфейсу, так и к терминальным инструментам. Модель достигает гибридной компетенции, сочетая взаимодействие с графическим интерфейсом, основанное на скриншотах (`computer_use`), и постоянное выполнение кода/терминала (`bash`) в рамках единой языковой политики, устраняя необходимость во внешнем оркестраторе.
Читать далее
Обучение модели включает прогрессивную пятиступенчатую программу, начинающуюся с промежуточной контрольной точки 4B Mage-VL. Эта программа формирует сильные самостоятельные навыки визуального закрепления, выполнения GUI и компетенции в кодировании/терминале, прежде чем объединить их через гибридное SFT и асинхронное онлайн-гибридное RL. Ключевым аспектом ее разработки является эволюция учительского инструмента, который отсекает избыточные маршруты действий и оснащает библиотеками доменов, что приводит к значительным улучшениям дистилляции студентов.
Mage-VL-Cowork также использует Mage-CUA-Forge, движок синтеза с приоритетом на рабочие процессы, который генерирует огромное количество задач по атомарным навыкам, значительно сокращая повторяющиеся затраты на генерацию задач. Этот подход снижает потребление токенов и расходы по сравнению со стандартными методами построения агентов.
С 4 миллиардами параметров Mage-VL-Cowork достигает 66,0% на OSWorld-Verified при бюджете в 50 шагов, что является лучшим результатом среди моделей своего размера. Он демонстрирует высокую эффективность в задачах операционной системы (87,5%) и многофункциональных рабочих процессах (62,7%). Эффективность модели дополнительно повышается за счет онлайн-обучения с подкреплением, что добавляет значительные улучшения точности, одновременно снижая среднее количество вызовов модели и токенов вывода. Его асимметричная рабочая память позволяет управлять долгосрочными настольными задачами, сжимая более ранние повороты и сохраняя недавние визуальные и ответные данные.
Mage-VL-Cowork выпущен под лицензией Apache-2.0 и предназначен для развертывания в изолированных, одноразовых песочницах из-за своих автономных возможностей. Он поддерживает пользовательскую многомодальную архитектуру и требует специфических конфигураций для вывода, включая унифицированный двухканальный контракт для взаимодействий GUI и терминала.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Mage-VL-Cowork
Гибридное использование компьютера: сочетает взаимодействие с графическим интерфейсом и выполнение терминала в рамках единой политики.
4 миллиарда параметров: достигает лучших в своем классе результатов на уровне 4B.
Многомодальная архитектура: модель Image-Text-to-Text, основанная на архитектуре llava_onevision2.
Пятиступенчатая программа обучения: прогрессивный подход специализации и объединения для комплексного развития навыков.
Эволюционировавшие учительские инструменты: усиливают дистилляцию студентов и повышают эффективность.
Синтез среды с приоритетом на рабочие процессы (Mage-CUA-Forge): снижает затраты на генерацию задач и потребление токенов.
Интернализированная маршрутизация на уровне поворота: динамически выбирает между GUI и bash для оптимального выполнения.
Высокая производительность на OSWorld-Verified: достигает 66,0% на задачах OSWorld-Verified.
Сильное выполнение OS и многофункциональных рабочих процессов: 87,5% на задачах OS, 62,7% на многофункциональных рабочих процессах.
Онлайн-обучение с подкреплением: улучшает точность на +10,16 процентных пункта и снижает вызовы модели/токены вывода.
Асимметричная рабочая память: управляет долгосрочными задачами с помощью сжатой памяти и активного визуального окна.
Унифицированная контрольная точка: обрабатывает визуальное закрепление, манипуляции GUI, программные операции и переключение каналов.
Лицензия Apache-2.0: лицензия с открытым исходным кодом для использования и распространения.
Пользовательская многомодальная архитектура: использует llava_onevision2 с Qwen2_5_VLProcessor.
Начало работы с Mage-VL-Cowork
Установите зависимости: настройте необходимую среду, включая SGLang, PyTorch и Transformers.
Запустите с SGLang: запустите сервер GPU для вывода, используя предоставленный контейнер Docker или пользовательскую среду.
Настройте многомодальные запросы: отрисуйте подсказки с помощью AutoProcessor.apply_chat_template и отправьте полезные нагрузки изображений в формате base64 на конечную точку SGLang /generate.
Примените параметры выборки: используйте рекомендуемые настройки, такие как температура 0,7, top_p 0,8 и max_new_tokens 4096.
Реализуйте системный запрос и схему инструментов: используйте точный унифицированный двухканальный контракт для computer_use и bash.
Выполните оффлайн-вывод Transformers: используйте модель для вывода с предоставленными примерами.
Воспроизведите оценку OSWorld-Verified: запустите среду выполнения SGLang и выполните оценку OSWorld-Verified.
Разворачивайте безопасно: всегда запускайте агента в изолированной песочнице с ограниченной авторизацией и нулевым раскрытием учетных данных.
Варианты использования Mage-VL-Cowork
- Автономная автоматизация рабочего стола
- Взаимодействие с GUI
- Программное редактирование файлов
- Системные операции
- Взаимодействие с веб-средой
- Задачи программной инженерии
- Интеллект на устройстве
- Исследования и разработки











