설명
Mage-VL-Cowork는 Microsoft Mage 팀에서 개발한 정교한 4B 매개변수 다중 모드 하이브리드 컴퓨터 사용 에이전트입니다. 이 모델은 픽셀 기반 컴퓨터 사용 에이전트(CUA)와 GUI 및 터미널 도구에 대한 단순한 접근을 가진 에이전트 간의 간극을 메우기 위해 설계되었습니다. 이 모델은 스크린샷 기반 GUI 상호작용(`computer_use`)과 지속적인 코드/터미널 실행(`bash`)을 단일 비전-언어 정책 내에서 결합하여 하이브리드 역량을 달성하며, 외부 조정자의 필요성을 없앱니다.
더 읽기
모델의 훈련은 중간 4B Mage-VL 체크포인트에서 시작하여 점진적인 다섯 단계 전문화-통합 커리큘럼을 포함합니다. 이 커리큘럼은 강력한 독립형 시각적 기초, GUI 실행 및 코딩/터미널 역량을 구축한 후, 이를 Hybrid SFT 및 비동기 온라인 Hybrid RL을 통해 통합합니다. 개발의 핵심 측면은 중복된 행동 경로를 제거하고 도메인 라이브러리를 장착하는 교사 하네스의 진화로, 이는 학생 증류의 상당한 이득을 가져옵니다.
Mage-VL-Cowork는 또한 작업 생성을 효율적으로 수행하고 반복적인 비용을 줄이는 워크플로우 우선 합성 엔진인 Mage-CUA-Forge를 활용합니다. 이 접근 방식은 표준 에이전트 우선 구축 방법에 비해 토큰 소비 및 지출을 줄입니다.
4B 매개변수에서 Mage-VL-Cowork는 50단계 예산 하에 OSWorld-Verified에서 66.0%를 달성하여 동일한 크기의 모델 중 최고의 성능을 기록합니다. 운영 체제 작업(87.5%) 및 다중 애플리케이션 워크플로(62.7%)에서 강력한 실행을 보여줍니다. 모델의 효율성은 온라인 강화 학습에 의해 더욱 향상되며, 이는 평균 모델 호출 및 출력 토큰을 줄이면서 상당한 정확도 개선을 추가합니다. 비대칭 작업 메모리는 이전 턴을 압축하고 최근 시각적 및 응답 데이터를 유지하여 긴 수평 데스크탑 작업을 관리할 수 있게 합니다.
Mage-VL-Cowork는 Apache-2.0 라이센스 하에 출시되며, 자율 기능으로 인해 격리된 일회용 샌드박스 환경에서 배포될 예정입니다. 이 모델은 사용자 정의 다중 모드 아키텍처를 지원하며, GUI 및 터미널 상호작용을 위한 통합된 이중 채널 계약을 포함한 특정 구성으로 추론이 필요합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Mage-VL-Cowork 하이라이트
하이브리드 컴퓨터 사용: 단일 정책 내에서 GUI 상호작용과 터미널 실행을 결합합니다.
4B 매개변수: 4B 규모에서 최고의 성능을 달성합니다.
다중 모드 아키텍처: llava_onevision2 아키텍처를 기반으로 한 이미지-텍스트-투-텍스트 모델입니다.
다섯 단계 훈련 커리큘럼: 포괄적인 기술 개발을 위한 점진적인 전문화-통합 접근 방식입니다.
진화된 교사 하네스: 학생 증류를 증대시키고 효율성을 향상시킵니다.
워크플로우 우선 환경 합성 (Mage-CUA-Forge): 작업 생성 비용과 토큰 소비를 줄입니다.
내부화된 턴 수준 채널 라우팅: 최적의 실행을 위해 GUI와 bash 간에 동적으로 선택합니다.
높은 OSWorld-Verified 성능: OSWorld-Verified 작업에서 66.0%를 달성합니다.
강력한 OS 및 다중 애플리케이션 워크플로 실행: OS 작업에서 87.5%, 다중 애플리케이션 워크플로에서 62.7%를 기록합니다.
온라인 강화 학습: 정확도를 +10.16 pp 개선하고 모델 호출/출력 토큰을 줄입니다.
비대칭 작업 메모리: 압축된 메모리와 활성 시각적 창으로 긴 수평 작업을 관리합니다.
통합 체크포인트: 시각적 기초, GUI 조작, 프로그래밍 작업 및 채널 전환을 처리합니다.
Apache-2.0 라이센스: 사용 및 배포를 위한 오픈 소스 라이센스입니다.
사용자 정의 다중 모드 아키텍처: Qwen2_5_VLProcessor와 함께 llava_onevision2를 사용합니다.
Mage-VL-Cowork 시작하기
종속성 설치: SGLang, PyTorch 및 Transformers를 포함한 필요한 환경을 설정합니다.
SGLang로 제공: 제공된 Docker 컨테이너 또는 사용자 정의 환경을 사용하여 GPU 추론 서버를 시작합니다.
다중 모드 요청 구성: AutoProcessor.apply_chat_template로 프롬프트를 렌더링하고 base64 이미지 페이로드를 SGLang의 /generate 엔드포인트로 전송합니다.
샘플링 매개변수 적용: 온도 0.7, top_p 0.8 및 max_new_tokens 4096과 같은 권장 설정을 사용합니다.
시스템 프롬프트 및 도구 스키마 구현: computer_use 및 bash에 대한 정확한 통합 이중 채널 계약을 사용합니다.
오프라인 Transformers 추론 수행: 제공된 예제를 사용하여 모델을 추론에 활용합니다.
OSWorld-Verified 평가 재현: SGLang 런타임을 시작하고 OSWorld-Verified 평가 하네스를 실행합니다.
안전하게 배포: 항상 범위가 제한된 권한과 제로 자격 증명 노출로 격리된 샌드박스 환경에서 에이전트를 실행합니다.
Mage-VL-Cowork의 사용 사례
- 자율 데스크탑 자동화
- GUI 상호작용
- 프로그래밍 파일 편집
- 시스템 작업
- 웹 환경 상호작용
- 소프트웨어 엔지니어링 작업
- 온디바이스 인텔리전스
- 연구 및 개발











