본문으로 건너뛰기
ToolPotion
AI 어드바이저
제출 (무료)

Mage-VL-Cowork

LLM#78AI 모델 및 LLM오픈소스 · 웹

Mage-VL-Cowork는 Microsoft에서 개발한 4B 매개변수 다중 모드 하이브리드 컴퓨터 사용 에이전트입니다. 이 모델은 스크린샷 기반 GUI 상호작용과 지속적인 코드/터미널 실행을 단일 비전-언어 정책 내에서 통합합니다. 이 모델은 복잡한 컴퓨터 작업에서 뛰어난 성능을 발휘하며, 자율 데스크탑 에이전트를 위한 온디바이스 인텔리전스의 경계를 확장합니다.

URL 방문
공유
Mage-VL-Cowork 스크린샷
Mage-VL-Cowork 스크린샷

Mage-VL-Cowork는 Microsoft Mage 팀에서 개발한 정교한 4B 매개변수 다중 모드 하이브리드 컴퓨터 사용 에이전트입니다. 이 모델은 픽셀 기반 컴퓨터 사용 에이전트(CUA)와 GUI 및 터미널 도구에 대한 단순한 접근을 가진 에이전트 간의 간극을 메우기 위해 설계되었습니다. 이 모델은 스크린샷 기반 GUI 상호작용(`computer_use`)과 지속적인 코드/터미널 실행(`bash`)을 단일 비전-언어 정책 내에서 결합하여 하이브리드 역량을 달성하며, 외부 조정자의 필요성을 없앱니다.

더 읽기

모델의 훈련은 중간 4B Mage-VL 체크포인트에서 시작하여 점진적인 다섯 단계 전문화-통합 커리큘럼을 포함합니다. 이 커리큘럼은 강력한 독립형 시각적 기초, GUI 실행 및 코딩/터미널 역량을 구축한 후, 이를 Hybrid SFT 및 비동기 온라인 Hybrid RL을 통해 통합합니다. 개발의 핵심 측면은 중복된 행동 경로를 제거하고 도메인 라이브러리를 장착하는 교사 하네스의 진화로, 이는 학생 증류의 상당한 이득을 가져옵니다.

Mage-VL-Cowork는 또한 작업 생성을 효율적으로 수행하고 반복적인 비용을 줄이는 워크플로우 우선 합성 엔진인 Mage-CUA-Forge를 활용합니다. 이 접근 방식은 표준 에이전트 우선 구축 방법에 비해 토큰 소비 및 지출을 줄입니다.

4B 매개변수에서 Mage-VL-Cowork는 50단계 예산 하에 OSWorld-Verified에서 66.0%를 달성하여 동일한 크기의 모델 중 최고의 성능을 기록합니다. 운영 체제 작업(87.5%) 및 다중 애플리케이션 워크플로(62.7%)에서 강력한 실행을 보여줍니다. 모델의 효율성은 온라인 강화 학습에 의해 더욱 향상되며, 이는 평균 모델 호출 및 출력 토큰을 줄이면서 상당한 정확도 개선을 추가합니다. 비대칭 작업 메모리는 이전 턴을 압축하고 최근 시각적 및 응답 데이터를 유지하여 긴 수평 데스크탑 작업을 관리할 수 있게 합니다.

Mage-VL-Cowork는 Apache-2.0 라이센스 하에 출시되며, 자율 기능으로 인해 격리된 일회용 샌드박스 환경에서 배포될 예정입니다. 이 모델은 사용자 정의 다중 모드 아키텍처를 지원하며, GUI 및 터미널 상호작용을 위한 통합된 이중 채널 계약을 포함한 특정 구성으로 추론이 필요합니다.

  • 카테고리AI 모델 및 LLM
  • 요금제오픈소스
  • 배포클라우드
  • 플랫폼웹

  • 하이브리드 컴퓨터 사용: 단일 정책 내에서 GUI 상호작용과 터미널 실행을 결합합니다.

  • 4B 매개변수: 4B 규모에서 최고의 성능을 달성합니다.

  • 다중 모드 아키텍처: llava_onevision2 아키텍처를 기반으로 한 이미지-텍스트-투-텍스트 모델입니다.

  • 다섯 단계 훈련 커리큘럼: 포괄적인 기술 개발을 위한 점진적인 전문화-통합 접근 방식입니다.

  • 진화된 교사 하네스: 학생 증류를 증대시키고 효율성을 향상시킵니다.

  • 워크플로우 우선 환경 합성 (Mage-CUA-Forge): 작업 생성 비용과 토큰 소비를 줄입니다.

  • 내부화된 턴 수준 채널 라우팅: 최적의 실행을 위해 GUI와 bash 간에 동적으로 선택합니다.

  • 높은 OSWorld-Verified 성능: OSWorld-Verified 작업에서 66.0%를 달성합니다.

  • 강력한 OS 및 다중 애플리케이션 워크플로 실행: OS 작업에서 87.5%, 다중 애플리케이션 워크플로에서 62.7%를 기록합니다.

  • 온라인 강화 학습: 정확도를 +10.16 pp 개선하고 모델 호출/출력 토큰을 줄입니다.

  • 비대칭 작업 메모리: 압축된 메모리와 활성 시각적 창으로 긴 수평 작업을 관리합니다.

  • 통합 체크포인트: 시각적 기초, GUI 조작, 프로그래밍 작업 및 채널 전환을 처리합니다.

  • Apache-2.0 라이센스: 사용 및 배포를 위한 오픈 소스 라이센스입니다.

  • 사용자 정의 다중 모드 아키텍처: Qwen2_5_VLProcessor와 함께 llava_onevision2를 사용합니다.

  1. 종속성 설치: SGLang, PyTorch 및 Transformers를 포함한 필요한 환경을 설정합니다.

  2. SGLang로 제공: 제공된 Docker 컨테이너 또는 사용자 정의 환경을 사용하여 GPU 추론 서버를 시작합니다.

  3. 다중 모드 요청 구성: AutoProcessor.apply_chat_template로 프롬프트를 렌더링하고 base64 이미지 페이로드를 SGLang의 /generate 엔드포인트로 전송합니다.

  4. 샘플링 매개변수 적용: 온도 0.7, top_p 0.8 및 max_new_tokens 4096과 같은 권장 설정을 사용합니다.

  5. 시스템 프롬프트 및 도구 스키마 구현: computer_use 및 bash에 대한 정확한 통합 이중 채널 계약을 사용합니다.

  6. 오프라인 Transformers 추론 수행: 제공된 예제를 사용하여 모델을 추론에 활용합니다.

  7. OSWorld-Verified 평가 재현: SGLang 런타임을 시작하고 OSWorld-Verified 평가 하네스를 실행합니다.

  8. 안전하게 배포: 항상 범위가 제한된 권한과 제로 자격 증명 노출로 격리된 샌드박스 환경에서 에이전트를 실행합니다.

  • 자율 데스크탑 자동화
  • GUI 상호작용
  • 프로그래밍 파일 편집
  • 시스템 작업
  • 웹 환경 상호작용
  • 소프트웨어 엔지니어링 작업
  • 온디바이스 인텔리전스
  • 연구 및 개발

Mage-VL-Cowork와(과) 비슷한 인기 AI 도구

DeepSeek-V4-Flash-Vision-Exp는 시각적 이해 능력을 향상시키는 DeepSeek-V4 계열의 실험적인 다중 모달 모델입니다. 이는 DeepSeek-V4-Flash 아키텍처를 기반으로 하여 텍스트 전용 성능을 유지하면서 개선된 다중 모달 에이전트 기능을 제공합니다.

AI 모델 및 LLM

LLM 70위

도구 보기

시각적 이해 능력을 향상시키는 DeepSeek-V4 계열의 실험적인 다중 모달 모델입니다. 이는 DeepSeek-V4-Flash 아키텍처를 기반으로 하여 텍스트 전용 성능을 유지하면서 개선된 다중 모달 에이전트 기능을 제공합니다.DeepSeek-V4-Flash-Vision-Exp는 시각적 이해 능력을 향상시키는 DeepSeek-V4 계열의 실험적인 다중 모달 모델입니다. 이는 DeepSeek-V4-Flash 아키텍처를 기반으로 하여 텍스트 전용 성능을 유지하면서 개선된 다중 모달 에이전트 기능을 제공합니다.

AI 모델 및 LLM
LLM 70위

LiquidAI LFM2.5-2.6B는 효율적인 추론과 에이전트 기능을 제공하는 온디바이스 배포를 위해 설계된 하이브리드 모델입니다. 여러 언어를 지원하며 다양한 플랫폼에 최적화되어 있어 다양한 애플리케이션에 적합합니다.

AI 모델 및 LLM

LLM 26위

도구 보기

효율적인 추론과 에이전트 기능을 제공하는 온디바이스 배포를 위해 설계된 하이브리드 모델입니다. 여러 언어를 지원하며 다양한 플랫폼에 최적화되어 있어 다양한 애플리케이션에 적합합니다.LiquidAI LFM2.5-2.6B는 효율적인 추론과 에이전트 기능을 제공하는 온디바이스 배포를 위해 설계된 하이브리드 모델입니다. 여러 언어를 지원하며 다양한 플랫폼에 최적화되어 있어 다양한 애플리케이션에 적합합니다.

AI 모델 및 LLM
LLM 26위

OmniParser는 사용자 인터페이스 스크린샷을 구조화된 요소로 구문 분석하는 방법입니다. GPT-4V와 같은 시각 언어 모델이 인터페이스에서 작업을 생성하는 능력을 향상시킵니다. OmniParser는 상호 작용 가능한 아이콘을 식별하고 요소 의미를 이해하여 벤치마크 성능을 향상시킵니다. 다양한 시각 언어 모델을 위한…

AI 모델 및 LLM
도구 보기

사용자 인터페이스 스크린샷을 구조화된 요소로 구문 분석하는 방법입니다. GPT-4V와 같은 시각 언어 모델이 인터페이스에서 작업을 생성하는 능력을 향상시킵니다. OmniParser는 상호 작용 가능한 아이콘을 식별하고 요소 의미를 이해하여 벤치마크 성능을 향상시킵니다. 다양한 시각 언어 모델을 위한…OmniParser는 사용자 인터페이스 스크린샷을 구조화된 요소로 구문 분석하는 방법입니다. GPT-4V와 같은 시각 언어 모델이 인터페이스에서 작업을 생성하는 능력을 향상시킵니다. OmniParser는 상호 작용 가능한 아이콘을 식별하고 요소 의미를 이해하여 벤치마크 성능을 향상시킵니다. 다양한 시각 언어 모델을 위한…

AI 모델 및 LLM
AI 모델 TOP 5 보기

Command A+는 25B의 활성 매개변수와 218B의 총 매개변수를 가진 전문가 혼합 모델로, 48개 언어에서 복잡한 추론, 비전 및 다국어 작업을 위해 설계되어 기업에 효율적이고 정확한 솔루션을 제공합니다.

AI 모델 및 LLM
도구 보기

25B의 활성 매개변수와 218B의 총 매개변수를 가진 전문가 혼합 모델로, 48개 언어에서 복잡한 추론, 비전 및 다국어 작업을 위해 설계되어 기업에 효율적이고 정확한 솔루션을 제공합니다.Command A+는 25B의 활성 매개변수와 218B의 총 매개변수를 가진 전문가 혼합 모델로, 48개 언어에서 복잡한 추론, 비전 및 다국어 작업을 위해 설계되어 기업에 효율적이고 정확한 솔루션을 제공합니다.

추천AI 모델 및 LLM
AI 모델 TOP 5 보기

Spark-X2.6-4B는 장치 배포를 위해 설계된 컴팩트한 범용 언어 모델입니다. 향상된 코딩, 다국어 지원 및 추론 기능을 제공하여 실제 작업을 수행하는 개발자와 사용자에게 이상적입니다.

AI 모델 및 LLM
도구 보기

장치 배포를 위해 설계된 컴팩트한 범용 언어 모델입니다. 향상된 코딩, 다국어 지원 및 추론 기능을 제공하여 실제 작업을 수행하는 개발자와 사용자에게 이상적입니다.Spark-X2.6-4B는 장치 배포를 위해 설계된 컴팩트한 범용 언어 모델입니다. 향상된 코딩, 다국어 지원 및 추론 기능을 제공하여 실제 작업을 수행하는 개발자와 사용자에게 이상적입니다.

AI 모델 및 LLM
LLM TOP 100 보기

MiniMax-M3.1-Flash는 코딩, 에이전트 워크플로우 및 사이버 보안을 위해 설계된 다중 모달 전문가 혼합 모델입니다. 텍스트, 이미지 및 비디오 입력을 지원하며, 희소 주의 및 양자화 인식 훈련을 통해 작업 성능과 추론 효율성을 향상시킵니다.

AI 모델 및 LLM

LLM 84위

도구 보기

코딩, 에이전트 워크플로우 및 사이버 보안을 위해 설계된 다중 모달 전문가 혼합 모델입니다. 텍스트, 이미지 및 비디오 입력을 지원하며, 희소 주의 및 양자화 인식 훈련을 통해 작업 성능과 추론 효율성을 향상시킵니다.MiniMax-M3.1-Flash는 코딩, 에이전트 워크플로우 및 사이버 보안을 위해 설계된 다중 모달 전문가 혼합 모델입니다. 텍스트, 이미지 및 비디오 입력을 지원하며, 희소 주의 및 양자화 인식 훈련을 통해 작업 성능과 추론 효율성을 향상시킵니다.

AI 모델 및 LLM
LLM 84위

LLaVA

AI GitHub 저장소

LLaVA는 대규모 언어 및 시각 기능을 결합한 시각적 명령어 튜닝 모델입니다. GPT-4V 수준의 성능 달성을 목표로 하며, 멀티모달 이해 및 상호작용을 가능하게 합니다. 이 프로젝트는 연구원 및 개발자를 위한 코드, 모델 및 리소스를 제공합니다.

AI 모델 및 LLM
도구 보기

AI GitHub 저장소

대규모 언어 및 시각 기능을 결합한 시각적 명령어 튜닝 모델입니다. GPT-4V 수준의 성능 달성을 목표로 하며, 멀티모달 이해 및 상호작용을 가능하게 합니다. 이 프로젝트는 연구원 및 개발자를 위한 코드, 모델 및 리소스를 제공합니다.LLaVA는 대규모 언어 및 시각 기능을 결합한 시각적 명령어 튜닝 모델입니다. GPT-4V 수준의 성능 달성을 목표로 하며, 멀티모달 이해 및 상호작용을 가능하게 합니다. 이 프로젝트는 연구원 및 개발자를 위한 코드, 모델 및 리소스를 제공합니다.

AI 모델 및 LLM
AI GitHub 저장소 TOP 250 보기

gptme는 모든 터미널에서 실행되는 공급자 독립적이고 로컬 우선 AI 에이전트입니다. 코딩, 지식 작업 및 자율 에이전트 작업을 위한 강력한 CLI를 제공하며, 생산성 향상을 위해 수많은 LLM 공급자와 광범위한 도구 통합을 지원합니다.

AI 코딩 어시스턴트

AI 에이전트 219위

도구 보기

모든 터미널에서 실행되는 공급자 독립적이고 로컬 우선 AI 에이전트입니다. 코딩, 지식 작업 및 자율 에이전트 작업을 위한 강력한 CLI를 제공하며, 생산성 향상을 위해 수많은 LLM 공급자와 광범위한 도구 통합을 지원합니다.gptme는 모든 터미널에서 실행되는 공급자 독립적이고 로컬 우선 AI 에이전트입니다. 코딩, 지식 작업 및 자율 에이전트 작업을 위한 강력한 CLI를 제공하며, 생산성 향상을 위해 수많은 LLM 공급자와 광범위한 도구 통합을 지원합니다.

AI 코딩 어시스턴트
AI 에이전트 219위
1/8