설명
Qwen3-VL은 Alibaba Cloud의 Qwen 팀이 개발한 비전-언어 모델 시리즈로, 팀이 지금까지 출시한 가장 강력한 비전-언어 모델로 자리 잡고 있습니다. 이 모델은 Dense 및 Mixture-of-Experts 아키텍처로 제공되며, 20억에서 2350억(활성 220억) 파라미터 크기로 제공되며, 각 크기는 두 가지 버전으로 출시됩니다: 직접 응답을 위한 Instruct와 단계별 추론을 위해 조정된 Thinking입니다.
더 읽기
이 모델은 일반적인 이미지 설명을 넘어 몇 가지 특정 기능을 목표로 합니다. 비주얼 에이전트 모드는 컴퓨터 또는 전화 화면을 읽고, 인터페이스 요소를 인식하며, 작업을 완료하기 위해 도구를 호출할 수 있어 GUI 자동화를 목표로 합니다. 비주얼 코딩 기능은 이미지나 비디오에서 직접 Draw.io 다이어그램, HTML, CSS 또는 JavaScript를 생성하여 스크린샷이나 디자인 목업을 작동하는 마크업으로 변환하는 데 유용합니다. 공간 인식은 2D 기초를 포함하여 장면에서 객체를 찾고 설명하는 것과, 위치, 시점 및 가림이 중요한 임베디드 AI 또는 로봇 추론과 같은 작업을 위한 3D 기초를 다룹니다.
긴 형식의 콘텐츠에 대해 Qwen3-VL은 기본 256K 토큰 컨텍스트 창을 지원하며, 이를 1M으로 확장할 수 있습니다. 팀이 설명하는 바에 따르면, 이는 한 시간 분량의 비디오에 대한 2차 인덱싱을 의미하며, 요약만 하는 것이 아니라 특정 순간을 기억하고 참조할 수 있습니다. OCR 범위는 32개 언어로 확장되며, 저조도, 흐림 및 기울어진 텍스트에 대한 강인성을 주장하며, 희귀하거나 고대 문자 및 긴 구조화된 문서에 대한 처리가 개선되었습니다. 텍스트 전용 이해는 전용 텍스트 LLM과 일치하도록 구축되어, 모델이 시각적 기능을 위해 순수 텍스트 성능을 희생하지 않으며, 팀은 인과적이고 증거 기반의 답변이 필요한 STEM 및 수학 작업에서 더 강력한 다중 모드 추론을 보고합니다.
기본적으로 아키텍처는 시간, 너비 및 높이에 걸쳐 위치 임베딩을 위한 Interleaved-MRoPE를 도입하여 긴 비디오 추론에 유용하며, 다중 수준 비전 변환기 기능을 더 날카로운 이미지-텍스트 정렬로 융합하기 위한 DeepStack과 비디오에서 더 정밀한 이벤트 로컬라이제이션을 위한 텍스트-타임스탬프 정렬 메커니즘을 포함합니다.
Qwen3-VL은 Hugging Face, ModelScope, 인터랙티브 데모 공간, 직접 사용을 위한 Qwen Chat 및 Alibaba Cloud의 Model Studio를 통한 호스팅 API를 통해 제공되므로 가중치를 다운로드하지 않고도 사용할 수 있습니다. Apache 2.0 라이선스 하에 출시되어 상업 프로젝트에서 사용할 수 있습니다. 다양한 크기와 비주얼 에이전트 및 OCR 기능은 문서 처리에서 GUI 기반 에이전트에 이르기까지 다중 모드 앱을 구축하는 개발자에게 적합합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Qwen3-VL의 핵심 기능
PC 및 모바일 GUI를 읽고 요소를 인식하며 작업을 완료하기 위해 도구를 호출하는 비주얼 에이전트 기능
이미지 또는 비디오에서 직접 Draw.io 다이어그램, HTML, CSS 및 JS 코드를 생성
객체의 위치, 시점 및 가림을 판단하기 위한 2D 및 3D 공간 기초
기본 256K 토큰 컨텍스트, 1M으로 확장 가능, 한 시간 분량 비디오에 대한 2차 인덱싱 포함
저조도, 흐림, 기울기 및 희귀하거나 고대 문자에 조정된 32개 언어의 OCR
유명인, 애니메이션 캐릭터, 제품, 랜드마크 및 식물과 동물을 포함한 더 넓은 시각 인식
2B에서 235B-A22B 파라미터까지의 Dense 및 Mixture-of-Experts 크기로 출시
각 크기에 대해 별도의 Instruct 및 Thinking(추론 강화) 버전
Qwen3-VL 시작하기
온라인으로 채팅하기: Qwen Chat 또는 Hugging Face 데모 공간을 통해 Qwen3-VL을 사용해 보세요.
크기 선택하기: 하드웨어 및 지연 요구 사항에 따라 2B에서 235B-A22B까지 모델을 선택하세요.
버전 선택하기: 직접 응답을 위해 Instruct를 사용하거나 단계별 추론을 위해 Thinking을 사용하세요.
가중치 다운로드하기: Hugging Face 또는 ModelScope에서 모델을 다운로드하여 자체 호스팅하세요.
호스팅 API 호출하기: 자체 호스팅 대신 Alibaba Cloud의 Model Studio API를 사용하세요.
요리책 따르기: GUI 에이전트, OCR 또는 비디오 중심 워크플로를 위한 게시된 요리책을 사용하세요.
Qwen3-VL의 사용 사례
- GUI 에이전트 자동화
- 문서 및 장면 OCR
- 이미지-코드 생성
- 긴 비디오 이해
