Qwen3-VL

Модель нацелена на несколько специфических возможностей, выходящих за рамки общего описания изображений. Режим визуального агента считывает экран компьютера или телефона, распознает элементы интерфейса и может вызывать инструменты для выполнения задач, что направлено на автоматизацию GUI. Функция визуального кодирования генерирует диаграммы Draw.io, HTML, CSS или JavaScript непосредственно из изображения или видео, что полезно для преобразования скриншота или макета дизайна в рабочий разметку. Пространственное восприятие охватывает как 2D-основу, определяющую и описывающую объекты в сцене, так и 3D-основу для задач, таких как воплощенный ИИ или рассуждение в робототехнике, где важны позиция, точка зрения и окклюзия.

Для длинного контента Qwen3-VL поддерживает нативное окно контекста на 256K токенов, которое можно расширить до 1M, с тем, что команда описывает как индексацию второго уровня для часового видео, что позволяет запоминать и ссылаться на конкретные моменты, а не только обобщать. Поддержка OCR охватывает 32 языка, с заявленной устойчивостью к низкому освещению, размытиям и наклону текста, а также лучшей обработкой редких или древних символов и длинных структурированных документов. Понимание текста только на основе текста построено так, чтобы соответствовать специализированным текстовым LLM, поэтому модель не жертвует производительностью в чистом тексте ради своих визуальных возможностей, и команда сообщает о более сильном мультимодальном рассуждении по задачам STEM и математике, требующим причинных, основанных на доказательствах ответов.

Внутри архитектура вводит Interleaved-MRoPE для позиционных встраиваний по времени, ширине и высоте, что полезно для рассуждений по длинным видео, DeepStack для слияния многоуровневых признаков визуального трансформера в более четкое выравнивание изображения и текста, а также механизм выравнивания текста и временных меток для более точной локализации событий в видео.

Qwen3-VL доступен через Hugging Face, ModelScope, интерактивную демонстрацию Space, Qwen Chat для прямого использования и хостируемый API через Model Studio компании Alibaba Cloud, что позволяет использовать его без загрузки весов. Он выпущен под лицензией Apache 2.0, что делает его пригодным для коммерческих проектов. Разнообразие размеров и функции визуального агента и OCR делают его подходящим для разработчиков, создающих мультимодальные приложения, от обработки документов до агентов, управляемых GUI.