Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Mage-VL-Cowork

LLM#79ИИ-модели и LLMОткрытый код · Веб

Mage-VL-Cowork — это агент с гибридным использованием компьютера на 4 миллиарда параметров, разработанный Microsoft. Он интегрирует взаимодействие с графическим интерфейсом, основанное на скриншотах, и постоянное выполнение кода/терминала в рамках единой языковой политики. Эта модель превосходит в сложных компьютерных задачах, демонстрируя лучшие в своем классе результаты для своего масштаба и продвигая границы интеллектуальных возможностей на устройствах для автономных настольных агентов.

Посетить URL
Поделиться
Скриншот Mage-VL-Cowork
Скриншот Mage-VL-Cowork

Mage-VL-Cowork — это сложный агент с гибридным использованием компьютера на 4 миллиарда параметров, разработанный командой Microsoft Mage. Он предназначен для преодоления разрыва между агентами, использующими пиксели (CUAs), и теми, кто имеет наивный доступ как к графическому интерфейсу, так и к терминальным инструментам. Модель достигает гибридной компетенции, сочетая взаимодействие с графическим интерфейсом, основанное на скриншотах (`computer_use`), и постоянное выполнение кода/терминала (`bash`) в рамках единой языковой политики, устраняя необходимость во внешнем оркестраторе.

Читать далее

Обучение модели включает прогрессивную пятиступенчатую программу, начинающуюся с промежуточной контрольной точки 4B Mage-VL. Эта программа формирует сильные самостоятельные навыки визуального закрепления, выполнения GUI и компетенции в кодировании/терминале, прежде чем объединить их через гибридное SFT и асинхронное онлайн-гибридное RL. Ключевым аспектом ее разработки является эволюция учительского инструмента, который отсекает избыточные маршруты действий и оснащает библиотеками доменов, что приводит к значительным улучшениям дистилляции студентов.

Mage-VL-Cowork также использует Mage-CUA-Forge, движок синтеза с приоритетом на рабочие процессы, который генерирует огромное количество задач по атомарным навыкам, значительно сокращая повторяющиеся затраты на генерацию задач. Этот подход снижает потребление токенов и расходы по сравнению со стандартными методами построения агентов.

С 4 миллиардами параметров Mage-VL-Cowork достигает 66,0% на OSWorld-Verified при бюджете в 50 шагов, что является лучшим результатом среди моделей своего размера. Он демонстрирует высокую эффективность в задачах операционной системы (87,5%) и многофункциональных рабочих процессах (62,7%). Эффективность модели дополнительно повышается за счет онлайн-обучения с подкреплением, что добавляет значительные улучшения точности, одновременно снижая среднее количество вызовов модели и токенов вывода. Его асимметричная рабочая память позволяет управлять долгосрочными настольными задачами, сжимая более ранние повороты и сохраняя недавние визуальные и ответные данные.

Mage-VL-Cowork выпущен под лицензией Apache-2.0 и предназначен для развертывания в изолированных, одноразовых песочницах из-за своих автономных возможностей. Он поддерживает пользовательскую многомодальную архитектуру и требует специфических конфигураций для вывода, включая унифицированный двухканальный контракт для взаимодействий GUI и терминала.

  • КатегорияИИ-модели и LLM
  • Модель ценообразованияОткрытый код
  • РазвёртываниеОблако
  • ПлатформыВеб

  • Гибридное использование компьютера: сочетает взаимодействие с графическим интерфейсом и выполнение терминала в рамках единой политики.

  • 4 миллиарда параметров: достигает лучших в своем классе результатов на уровне 4B.

  • Многомодальная архитектура: модель Image-Text-to-Text, основанная на архитектуре llava_onevision2.

  • Пятиступенчатая программа обучения: прогрессивный подход специализации и объединения для комплексного развития навыков.

  • Эволюционировавшие учительские инструменты: усиливают дистилляцию студентов и повышают эффективность.

  • Синтез среды с приоритетом на рабочие процессы (Mage-CUA-Forge): снижает затраты на генерацию задач и потребление токенов.

  • Интернализированная маршрутизация на уровне поворота: динамически выбирает между GUI и bash для оптимального выполнения.

  • Высокая производительность на OSWorld-Verified: достигает 66,0% на задачах OSWorld-Verified.

  • Сильное выполнение OS и многофункциональных рабочих процессов: 87,5% на задачах OS, 62,7% на многофункциональных рабочих процессах.

  • Онлайн-обучение с подкреплением: улучшает точность на +10,16 процентных пункта и снижает вызовы модели/токены вывода.

  • Асимметричная рабочая память: управляет долгосрочными задачами с помощью сжатой памяти и активного визуального окна.

  • Унифицированная контрольная точка: обрабатывает визуальное закрепление, манипуляции GUI, программные операции и переключение каналов.

  • Лицензия Apache-2.0: лицензия с открытым исходным кодом для использования и распространения.

  • Пользовательская многомодальная архитектура: использует llava_onevision2 с Qwen2_5_VLProcessor.

  1. Установите зависимости: настройте необходимую среду, включая SGLang, PyTorch и Transformers.

  2. Запустите с SGLang: запустите сервер GPU для вывода, используя предоставленный контейнер Docker или пользовательскую среду.

  3. Настройте многомодальные запросы: отрисуйте подсказки с помощью AutoProcessor.apply_chat_template и отправьте полезные нагрузки изображений в формате base64 на конечную точку SGLang /generate.

  4. Примените параметры выборки: используйте рекомендуемые настройки, такие как температура 0,7, top_p 0,8 и max_new_tokens 4096.

  5. Реализуйте системный запрос и схему инструментов: используйте точный унифицированный двухканальный контракт для computer_use и bash.

  6. Выполните оффлайн-вывод Transformers: используйте модель для вывода с предоставленными примерами.

  7. Воспроизведите оценку OSWorld-Verified: запустите среду выполнения SGLang и выполните оценку OSWorld-Verified.

  8. Разворачивайте безопасно: всегда запускайте агента в изолированной песочнице с ограниченной авторизацией и нулевым раскрытием учетных данных.

  • Автономная автоматизация рабочего стола
  • Взаимодействие с GUI
  • Программное редактирование файлов
  • Системные операции
  • Взаимодействие с веб-средой
  • Задачи программной инженерии
  • Интеллект на устройстве
  • Исследования и разработки

Популярные ИИ-инструменты, похожие на Mage-VL-Cowork

DeepSeek-V4-Flash-Vision-Exp — это экспериментальная мультимодальная модель из семейства DeepSeek-V4, улучшающая возможности визуального восприятия. Она основана на архитектуре…

ИИ-модели и LLM

№69 в LLM

Открыть инструмент

Экспериментальная мультимодальная модель из семейства DeepSeek-V4, улучшающая возможности визуального восприятия. Она основана на архитектуре…DeepSeek-V4-Flash-Vision-Exp — это экспериментальная мультимодальная модель из семейства DeepSeek-V4, улучшающая возможности визуального восприятия. Она основана на архитектуре…

ИИ-модели и LLM
№69 в LLM

LiquidAI LFM2.5-2.6B — это гибридная модель, разработанная для развертывания на устройствах, предлагающая эффективный вывод и агентные возможности. Она поддерживает несколько…

ИИ-модели и LLM

№28 в LLM

Открыть инструмент

Гибридная модель, разработанная для развертывания на устройствах, предлагающая эффективный вывод и агентные возможности. Она поддерживает несколько…LiquidAI LFM2.5-2.6B — это гибридная модель, разработанная для развертывания на устройствах, предлагающая эффективный вывод и агентные возможности. Она поддерживает несколько…

ИИ-модели и LLM
№28 в LLM

Метод для преобразования скриншотов пользовательского интерфейса в структурированные элементы. Он расширяет возможности моделей визуального языка, таких как…OmniParser — это метод для преобразования скриншотов пользовательского интерфейса в структурированные элементы. Он расширяет возможности моделей визуального языка, таких как…

ИИ-модели и LLM
Топ-5: AI-модели

Command A+ — это модель Mixture of Experts с 25B активных и 218B общих параметров, предназначенная для сложного рассуждения, визуальных и многоязычных задач на 48 языках,…

ИИ-модели и LLM
Открыть инструмент

Command A+ — это модель Mixture of Experts с 25B активных и 218B общих параметров, предназначенная для сложного рассуждения, визуальных и многоязычных задач на 48 языках,…

РекомендованоИИ-модели и LLM
Топ-5: AI-модели

Spark-X2.6-4B — это компактная языковая модель общего назначения, предназначенная для развертывания на устройствах. Она предлагает улучшенные возможности кодирования,…

ИИ-модели и LLM
Открыть инструмент

Компактная языковая модель общего назначения, предназначенная для развертывания на устройствах. Она предлагает улучшенные возможности кодирования,…Spark-X2.6-4B — это компактная языковая модель общего назначения, предназначенная для развертывания на устройствах. Она предлагает улучшенные возможности кодирования,…

ИИ-модели и LLM
Топ-100: LLM

MiniMax-M3.1-Flash — это многомодальная модель смешанных экспертов, разработанная для кодирования, агентных рабочих процессов и кибербезопасности. Она поддерживает текстовые,…

ИИ-модели и LLM

№75 в LLM

Открыть инструмент

Многомодальная модель смешанных экспертов, разработанная для кодирования, агентных рабочих процессов и кибербезопасности. Она поддерживает текстовые,…MiniMax-M3.1-Flash — это многомодальная модель смешанных экспертов, разработанная для кодирования, агентных рабочих процессов и кибербезопасности. Она поддерживает текстовые,…

ИИ-модели и LLM
№75 в LLM

LLaVA

AI-репозитории на GitHub

LLaVA — это модель визуальной настройки инструкций, которая объединяет возможности больших языковых моделей и обработки изображений. Она нацелена на достижение производительности…

ИИ-модели и LLM
Открыть инструмент

AI-репозитории на GitHub

Модель визуальной настройки инструкций, которая объединяет возможности больших языковых моделей и обработки изображений. Она нацелена на достижение производительности…LLaVA — это модель визуальной настройки инструкций, которая объединяет возможности больших языковых моделей и обработки изображений. Она нацелена на достижение производительности…

ИИ-модели и LLM
Топ-250: AI-репозитории на GitHub

gptme — это независимый от поставщика, локальный AI-агент, работающий в любом терминале. Он предлагает мощный CLI для кодирования, работы с знаниями и автономных задач агента,…

AI-помощники для программирования

№218 в ИИ-агенты

Открыть инструмент

Независимый от поставщика, локальный AI-агент, работающий в любом терминале. Он предлагает мощный CLI для кодирования, работы с знаниями и автономных задач агента,…gptme — это независимый от поставщика, локальный AI-агент, работающий в любом терминале. Он предлагает мощный CLI для кодирования, работы с знаниями и автономных задач агента,…

AI-помощники для программирования
№218 в ИИ-агенты
1 из 8