Qwen3-VL

Das Modell zielt auf mehrere spezifische Fähigkeiten ab, die über die allgemeine Bildbeschreibung hinausgehen. Ein visueller Agentmodus liest einen Computer- oder Telefonbildschirm, erkennt Schnittstellenelemente und kann Werkzeuge aufrufen, um eine Aufgabe zu erledigen, was auf die Automatisierung von GUIs abzielt. Eine visuelle Codierungsfunktion generiert Draw.io-Diagramme, HTML, CSS oder JavaScript direkt aus einem Bild oder Video, was nützlich ist, um einen Screenshot oder ein Design-Mockup in funktionierenden Markup umzuwandeln. Die räumliche Wahrnehmung umfasst sowohl 2D-Grundierung, das Lokalisieren und Beschreiben von Objekten in einer Szene, als auch 3D-Grundierung für Aufgaben wie verkörperte KI oder Robotikdenken, bei denen die Beurteilung von Position, Blickwinkel und Verdeckung wichtig ist.

Für längere Inhalte unterstützt Qwen3-VL ein natives Kontextfenster von 256K Token, das auf 1M erweitert werden kann, mit dem, was das Team als sekundäre Indizierung für stundenlange Videos beschreibt, was bedeutet, dass es spezifische Momente abrufen und referenzieren kann, anstatt nur zusammenzufassen. Die OCR-Abdeckung erstreckt sich über 32 Sprachen, mit behaupteter Robustheit gegenüber schwachem Licht, Unschärfe und geneigtem Text, sowie einer besseren Handhabung seltener oder antiker Zeichen und langen, strukturierten Dokumenten. Das Textverständnis ist darauf ausgelegt, mit dedizierten Text-LLMs übereinzustimmen, sodass das Modell keine pure Textleistung zugunsten seiner visuellen Fähigkeiten opfert, und das Team berichtet von einer stärkeren multimodalen Argumentation bei STEM- und Mathematikaufgaben, die kausale, evidenzbasierte Antworten erfordern.

Unter der Haube führt die Architektur Interleaved-MRoPE für Positions-Embeddings über Zeit, Breite und Höhe ein, was für das Denken über lange Videos hilfreich ist, DeepStack zum Fusionsmulti-Level-Vision-Transformer-Funktionen in schärfere Bild-Text-Ausrichtungen, und einen Text-Zeitstempel-Ausrichtungsmechanismus für eine genauere Ereignislokalisierung in Videos.

Qwen3-VL ist über Hugging Face, ModelScope, eine interaktive Demo-Umgebung, Qwen Chat für die direkte Nutzung und eine gehostete API über das Model Studio von Alibaba Cloud verfügbar, sodass es ohne Herunterladen von Gewichten verwendet werden kann. Es wird unter der Apache 2.0-Lizenz veröffentlicht, was es für kommerzielle Projekte nutzbar macht. Die Vielzahl an Größen und die Funktionen des visuellen Agenten und der OCR machen es zu einer geeigneten Wahl für Entwickler, die multimodale Apps erstellen, von der Dokumentenverarbeitung bis hin zu GUI-gesteuerten Agenten.