Описание
WeMM-Video-35B-A3B — это сложная модель смешанных экспертов, часть более широкой семьи WeMM-Video, разработанная для комплексного аудиовизуального понимания и рассуждения. С 35 миллиардами общих параметров и 3 миллиардами активных параметров, эта модель специально спроектирована для обработки и интерпретации мультимодальных входов, включая текст, изображения, аудио и видео, генерируя последовательные текстовые ответы на китайском или английском языках.
Читать далее
Основные возможности модели включают способность комбинировать видеокадры с их оригинальными звуковыми дорожками для описания событий, точно транскрибировать речь и выполнять задачи рассуждения на основе как визуальной, так и аудиальной информации. Она также достаточно универсальна, чтобы обрабатывать беззвучное видео, отдельное аудио, изображения и текстовые входы независимо. Это делает её подходящей для широкого спектра приложений, требующих глубокого контекстуального понимания различных типов медиа.
Архитектурно WeMM-Video-35B-A3B использует кодировщики видео и аудио для преобразования медиа-входов в токены, которые затем обрабатываются языковой моделью вместе с текстом. Видеокадры обогащаются временными метками для поддержания временного контекста. Семейство моделей прошло обширное предварительное обучение на примерно 1,2 триллиона мультимодальных токенов, за которым последовали продвинутые методы постобучения, такие как многопедагогический OPD, антиповторный MrDPO и специализированное обучение с подкреплением для повышения производительности и надежности.
Развертывание и интеграция упрощаются благодаря различным вариантам обслуживания. Пользователи могут настроить окружение Transformers и запускать примеры непосредственно из репозитория WeMM-Video. Модель поддерживает квантизированные варианты, такие как FP8 Block128, AWQ W4A16, GGUF Q4_K_M и NVFP4 W4A16. Для обслуживания она совместима с исправленными версиями vLLM (0.18.0 и 0.31.0) и SGLang (0.5.16 или 0.5.19), что позволяет эффективно выполнять вывод, включая тензорный параллелизм на нескольких GPU. Модель также предлагает различные режимы чата, включая режим по умолчанию «Инструкция» и «Режим размышлений» для ответов на рассуждения.
WeMM-Video-35B-A3B продемонстрировала высокую производительность, установив новый открытый стандарт. Она показала лучшие результаты по сравнению с проприетарными моделями, такими как Qwen3.5-Omni-Flash и Seed2.0-Mini-0428, значительно сократив разрыв в производительности с продвинутыми моделями, такими как Gemini-3.0-Flash. Модель выпущена под лицензией Apache 2.0, способствуя открытому доступу и сотрудничеству в сообществе ИИ.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о WeMM-Video-35B-A3B
Двуязычная обработка на китайском и английском языках
Совместное аудиовизуальное понимание и рассуждение
Принимает текстовые, изображенческие, аудио- и видеовходы
Генерирует текстовые ответы
Описывает события из видеокадров и звуковых дорожек
Транскрибирует речь из аудио
Рассуждает о визуальной и аудиальной информации
Поддерживает обработку беззвучного видео и отдельного аудио
Архитектура смешанных экспертов (35B всего, 3B активных параметров)
Предварительно обучена на 1,2 триллиона мультимодальных токенов
Постобучена с использованием многопедагогического OPD и MrDPO
Специализированное обучение с подкреплением для повышения производительности
Поддерживает различные квантизированные варианты (FP8, AWQ, GGUF, NVFP4)
Совместима с исправленными версиями vLLM и SGLang для обслуживания
Предлагает режимы чата Инструкция и Размышления
Начало работы с WeMM-Video-35B-A3B
Настройка окружения: Установите окружение Transformers и необходимые зависимости.
Загрузка модели: Загрузите модель WeMM-Video-35B-A3B и процессор из Hugging Face Hub.
Подготовка входов: Предоставьте медиа-входы, такие как MP4-видеофайлы, отдельное аудио, изображения или текст.
Обработка медиа: Используйте скрипт для обработки видеокадров отдельно или с оригинальной звуковой дорожкой.
Генерация ответов: Отправьте запросы к модели, указывая режим чата (Инструкция или Размышления) для генерации текста.
Обслуживание модели (по желанию): Установите патч WeMM runtime и используйте исправленные версии vLLM или SGLang для API обслуживания.
Отправка API-запросов: Используйте встроенный клиент запросов для отправки медиа встраиваемым образом в конечную точку чата, совместимую с OpenAI.
Варианты использования WeMM-Video-35B-A3B
- Анализ видеоконтента
- Транскрипция речи
- Мультимодальное рассуждение
- Обработка двуязычного контента
- Описание аудиовизуальных событий
- Разработка ИИ моделей
- Исследования и эксперименты












