描述
WeMM-Video-35B-A3B 是一种复杂的专家混合模型,属于更广泛的 WeMM-Video 系列,旨在实现全面的音视频理解和推理。该模型具有 350 亿个参数和 30 亿个活跃参数,专门设计用于处理和解释多模态输入,包括文本、图像、音频和视频,能够生成中文或英文的连贯文本响应。
阅读更多
该模型的核心能力包括将视频帧与其原始音轨结合,以描述事件,准确转录语音,并基于视觉和听觉信息执行推理任务。它还足够灵活,可以独立处理无声视频、独立音频、图像和文本输入。这使得它适用于需要深度上下文理解的各种应用,涵盖不同媒体类型。
在架构上,WeMM-Video-35B-A3B 使用视觉和音频编码器将媒体输入转换为标记,然后与文本一起由语言模型处理。视频帧附加时间戳以保持时间上下文。该模型系列在大约 1.2 万亿个多模态标记上进行了广泛的预训练,随后采用了多教师 OPD、反重复 MrDPO 和专业强化学习等先进的后训练技术,以增强其性能和稳健性。
通过各种服务选项,部署和集成变得更加便捷。用户可以设置 Transformers 环境,并直接从 WeMM-Video 仓库运行示例。该模型支持量化变体,如 FP8 Block128、AWQ W4A16、GGUF Q4_K_M 和 NVFP4 W4A16。在服务方面,它与 vLLM(0.18.0 和 0.31.0)和 SGLang(0.5.16 或 0.5.19)的修补版本兼容,允许高效推理,包括跨多个 GPU 的张量并行。该模型还提供不同的聊天模式,包括默认的指令模式和用于推理响应的“思考模式”。
WeMM-Video-35B-A3B 展现了强大的性能,确立了新的开源最先进水平。它已被证明在性能上超越了 Qwen3.5-Omni-Flash 和 Seed2.0-Mini-0428 等专有模型,显著缩小了与 Gemini-3.0-Flash 等先进模型的性能差距。该模型在 Apache License 2.0 下发布,促进了 AI 社区的开放访问和合作。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
WeMM-Video-35B-A3B亮点
中英双语处理
联合音视频理解和推理
接受文本、图像、音频和视频输入
生成文本响应
从视频帧和音轨描述事件
从音频转录语音
对视觉和听觉信息进行推理
支持无声视频和独立音频处理
专家混合架构(总计 35B,活跃参数 3B)
在 1.2 万亿多模态标记上进行预训练
使用多教师 OPD 和 MrDPO 进行后训练
专业强化学习以增强性能
支持各种量化变体(FP8、AWQ、GGUF、NVFP4)
与修补的 vLLM 和 SGLang 兼容以进行服务
提供指令和思考聊天模式
WeMM-Video-35B-A3B入门
设置环境:安装 Transformers 环境及必要的依赖项。
加载模型:从 Hugging Face Hub 加载 WeMM-Video-35B-A3B 模型和处理器。
准备输入:提供媒体输入,如 MP4 视频文件、独立音频、图像或文本。
处理媒体:使用脚本单独处理视频帧或与原始音轨一起处理。
生成响应:向模型发送请求,指定聊天模式(指令或思考)以生成文本。
服务模型(可选):安装 WeMM 运行时补丁,并使用修补的 vLLM 或 SGLang 进行 API 服务。
发送 API 请求:使用捆绑的请求客户端将媒体内联发送到与 OpenAI 兼容的聊天端点。
WeMM-Video-35B-A3B的使用案例
- 视频内容分析
- 语音转录
- 多模态推理
- 双语内容处理
- 音视频事件描述
- AI 模型开发
- 研究与实验












