설명
WeMM-Video-35B-A3B는 포괄적인 오디오-비주얼 이해 및 추론을 위해 개발된 정교한 전문가 혼합 모델로, WeMM-Video 계열의 일부입니다. 총 350억 개의 매개변수와 30억 개의 활성 매개변수를 가진 이 모델은 텍스트, 이미지, 오디오 및 비디오를 포함한 다중 모드 입력을 처리하고 해석하도록 특별히 설계되어 있으며, 중국어 또는 영어로 일관된 텍스트 응답을 생성합니다.
더 읽기
모델의 핵심 기능은 비디오 프레임과 원래 사운드트랙을 결합하여 사건을 설명하고, 음성을 정확하게 기록하며, 시각적 및 청각적 정보를 기반으로 추론 작업을 수행하는 능력을 포함합니다. 또한 무음 비디오, 독립 오디오, 이미지 및 텍스트 입력을 독립적으로 처리할 수 있을 만큼 다재다능합니다. 이는 다양한 미디어 유형에 걸쳐 깊은 맥락 이해가 필요한 광범위한 응용 프로그램에 적합합니다.
구조적으로 WeMM-Video-35B-A3B는 비전 및 오디오 인코더를 사용하여 미디어 입력을 토큰으로 변환하며, 이는 텍스트와 함께 언어 모델에 의해 처리됩니다. 비디오 프레임은 시간적 맥락을 유지하기 위해 타임스탬프가 추가됩니다. 모델 계열은 약 1.2조 개의 다중 모드 토큰에 대해 광범위한 사전 훈련을 거쳤으며, 이후 성능과 강인성을 향상시키기 위해 다중 교사 OPD, 반복 방지 MrDPO 및 전문 강화 학습과 같은 고급 후 훈련 기술을 적용했습니다.
배포 및 통합은 다양한 서비스 옵션을 통해 용이하게 이루어집니다. 사용자는 Transformers 환경을 설정하고 WeMM-Video 리포지토리에서 직접 예제를 실행할 수 있습니다. 이 모델은 FP8 Block128, AWQ W4A16, GGUF Q4_K_M 및 NVFP4 W4A16과 같은 양자화된 변형을 지원합니다. 서비스 제공을 위해 패치된 vLLM(0.18.0 및 0.31.0) 및 SGLang(0.5.16 또는 0.5.19) 버전과 호환되어 여러 GPU에 걸쳐 텐서 병렬성을 포함한 효율적인 추론을 가능하게 합니다. 또한 기본 지시 모드와 추론 응답을 위한 '사고 모드'를 포함한 다양한 채팅 모드를 제공합니다.
WeMM-Video-35B-A3B는 강력한 성능을 입증하며 새로운 오픈 소스 최첨단 기술을 확립했습니다. Qwen3.5-Omni-Flash 및 Seed2.0-Mini-0428과 같은 독점 모델을 능가하며, Gemini-3.0-Flash와 같은 고급 모델과의 성능 격차를 크게 좁혔습니다. 이 모델은 Apache License 2.0 하에 출시되어 AI 커뮤니티 내에서의 개방형 접근 및 협업을 촉진합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
WeMM-Video-35B-A3B 하이라이트
중국어-영어 이중 언어 처리
공동 오디오-비주얼 이해 및 추론
텍스트, 이미지, 오디오 및 비디오 입력 수용
텍스트 응답 생성
비디오 프레임 및 사운드트랙에서 사건 설명
오디오에서 음성 기록
시각적 및 청각적 정보에 대한 추론
무음 비디오 및 독립 오디오 처리 지원
전문가 혼합 아키텍처 (총 35B, 활성 3B 매개변수)
1.2조 개의 다중 모드 토큰에 대해 사전 훈련됨
다중 교사 OPD 및 MrDPO로 후 훈련됨
성능 향상을 위한 전문 강화 학습
다양한 양자화 변형 지원 (FP8, AWQ, GGUF, NVFP4)
서비스 제공을 위한 패치된 vLLM 및 SGLang과 호환
지시 및 사고 채팅 모드 제공
WeMM-Video-35B-A3B 시작하기
환경 설정: Transformers 환경 및 필요한 종속성을 설치합니다.
모델 로드: Hugging Face Hub에서 WeMM-Video-35B-A3B 모델 및 프로세서를 로드합니다.
입력 준비: MP4 비디오 파일, 독립 오디오, 이미지 또는 텍스트와 같은 미디어 입력을 제공합니다.
미디어 처리: 스크립트를 사용하여 비디오 프레임을 원래 오디오 트랙과 함께 또는 단독으로 처리합니다.
응답 생성: 모델에 요청을 보내고 텍스트 생성을 위한 채팅 모드(지시 또는 사고)를 지정합니다.
모델 제공(선택 사항): WeMM 런타임 패치를 설치하고 패치된 vLLM 또는 SGLang을 사용하여 API 서비스를 제공합니다.
API 요청 전송: 번들된 요청 클라이언트를 사용하여 OpenAI 호환 채팅 엔드포인트에 미디어를 인라인으로 전송합니다.
WeMM-Video-35B-A3B의 사용 사례
- 비디오 콘텐츠 분석
- 음성 기록
- 다중 모드 추론
- 이중 언어 콘텐츠 처리
- 오디오-비주얼 사건 설명
- AI 모델 개발
- 연구 및 실험












