Qwen3-VL

Le modèle cible plusieurs capacités spécifiques au-delà de la simple description d'images. Un mode agent visuel lit un écran d'ordinateur ou de téléphone, reconnaît les éléments d'interface et peut invoquer des outils pour accomplir une tâche, visant l'automatisation GUI. Une fonctionnalité de codage visuel génère des diagrammes Draw.io, du HTML, du CSS ou du JavaScript directement à partir d'une image ou d'une vidéo, utile pour transformer une capture d'écran ou un modèle de conception en balisage fonctionnel. La perception spatiale couvre à la fois le ancrage 2D, localisant et décrivant des objets dans une scène, et l'ancrage 3D pour des tâches telles que l'IA incarnée ou le raisonnement en robotique, où le jugement de la position, du point de vue et de l'occlusion est crucial.

Pour le contenu long, Qwen3-VL prend en charge une fenêtre de contexte native de 256K tokens qui peut être étendue à 1M, avec ce que l'équipe décrit comme un indexage de deuxième niveau pour des vidéos d'une heure, ce qui signifie qu'il peut rappeler et référencer des moments spécifiques plutôt que de simplement résumer. La couverture OCR s'étend à 32 langues, avec une robustesse revendiquée face à la faible luminosité, au flou et au texte incliné, ainsi qu'une meilleure gestion des caractères rares ou anciens et des documents longs et structurés. La compréhension uniquement textuelle est conçue pour égaler celle des LLM textuels dédiés, de sorte que le modèle ne sacrifie pas les performances en texte pur pour ses capacités visuelles, et l'équipe rapporte un raisonnement multimodal plus fort sur les tâches STEM et mathématiques qui nécessitent des réponses causales et basées sur des preuves.

En dessous, l'architecture introduit Interleaved-MRoPE pour les embeddings positionnels à travers le temps, la largeur et la hauteur, utile pour le raisonnement sur de longues vidéos, DeepStack pour fusionner les caractéristiques des transformateurs de vision multi-niveaux en un meilleur alignement image-texte, et un mécanisme d'alignement texte-timestamp pour une localisation d'événements plus précise dans la vidéo.

Qwen3-VL est disponible via Hugging Face, ModelScope, un espace de démonstration interactif, Qwen Chat pour une utilisation directe, et une API hébergée via le Model Studio d'Alibaba Cloud, ce qui permet de l'utiliser sans télécharger de poids. Il est publié sous la licence Apache 2.0, ce qui le rend utilisable dans des projets commerciaux. La gamme de tailles et les fonctionnalités d'agent visuel et d'OCR en font un choix adapté pour les développeurs construisant des applications multimodales, allant du traitement de documents aux agents pilotés par GUI.