Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

WeMM-Video-35B-A3B

LLM#38Modèles d'IA et LLMOpen source · Web

WeMM-Video-35B-A3B est un modèle de mélange d'experts de la famille WeMM-Video, conçu pour la compréhension et le raisonnement audio-visuels conjoints. Ce modèle bilingue chinois-anglais accepte des entrées de texte, d'images, d'audio et de vidéo pour générer des réponses textuelles. Il peut décrire des événements, transcrire des discours et raisonner sur ce qui est vu et entendu, offrant à la fois des modes de réponse directe et de raisonnement.

Visiter l'URL
Partager
Capture d’écran de WeMM-Video-35B-A3B
Capture d’écran de WeMM-Video-35B-A3B

WeMM-Video-35B-A3B est un modèle sophistiqué de mélange d'experts, faisant partie de la famille plus large WeMM-Video, développé pour une compréhension et un raisonnement audio-visuels complets. Avec 35 milliards de paramètres au total et 3 milliards de paramètres actifs, ce modèle est spécifiquement conçu pour traiter et interpréter des entrées multimodales, y compris du texte, des images, de l'audio et de la vidéo, générant des réponses textuelles cohérentes en chinois ou en anglais.

Lire la suite

Les capacités fondamentales du modèle incluent la capacité de combiner des images vidéo avec leurs bandes son originales pour décrire des événements, de transcrire avec précision des discours et d'effectuer des tâches de raisonnement basées sur des informations visuelles et auditives. Il est également suffisamment polyvalent pour traiter des vidéos silencieuses, de l'audio autonome, des images et des entrées textuelles de manière indépendante. Cela le rend adapté à un large éventail d'applications nécessitant une compréhension contextuelle approfondie à travers différents types de médias.

Architecturalement, WeMM-Video-35B-A3B utilise des encodeurs visuels et audio pour convertir les entrées multimédias en jetons, qui sont ensuite traités par un modèle de langage aux côtés du texte. Les images vidéo sont enrichies de timestamps pour maintenir le contexte temporel. La famille de modèles a subi un pré-entraînement approfondi sur environ 1,2 trillion de jetons multimodaux, suivi de techniques de post-entraînement avancées telles que l'OPD multi-enseignants, le MrDPO anti-répétition et l'apprentissage par renforcement spécialisé pour améliorer ses performances et sa robustesse.

Le déploiement et l'intégration sont facilités par diverses options de service. Les utilisateurs peuvent configurer l'environnement Transformers et exécuter des exemples directement à partir du dépôt WeMM-Video. Le modèle prend en charge des variantes quantifiées telles que FP8 Block128, AWQ W4A16, GGUF Q4_K_M et NVFP4 W4A16. Pour le service, il est compatible avec des versions patchées de vLLM (0.18.0 et 0.31.0) et SGLang (0.5.16 ou 0.5.19), permettant une inférence efficace, y compris le parallélisme tensoriel sur plusieurs GPU. Le modèle propose également différents modes de chat, y compris un mode d'instruction par défaut et un « mode de réflexion » pour des réponses de raisonnement.

WeMM-Video-35B-A3B a démontré de solides performances, établissant un nouvel état de l'art open-source. Il a montré qu'il surpasse des modèles propriétaires tels que Qwen3.5-Omni-Flash et Seed2.0-Mini-0428, réduisant considérablement l'écart de performance avec des modèles avancés tels que Gemini-3.0-Flash. Le modèle est publié sous la licence Apache 2.0, promouvant l'accès ouvert et la collaboration au sein de la communauté IA.

  • CatégorieModèles d'IA et LLM
  • Modèle tarifaireOpen source
  • DéploiementCloud
  • PlateformesWeb

  • Traitement bilingue chinois-anglais

  • Compréhension et raisonnement audio-visuels conjoints

  • Accepte des entrées de texte, d'images, d'audio et de vidéo

  • Génère des réponses textuelles

  • Décrit des événements à partir d'images vidéo et de bandes son

  • Transcrit des discours à partir de l'audio

  • Raisonne sur des informations visuelles et auditives

  • Prend en charge le traitement de vidéos silencieuses et d'audio autonome

  • Architecture de mélange d'experts (35B au total, 3B de paramètres actifs)

  • Pré-entraîné sur 1,2 trillion de jetons multimodaux

  • Post-entraîné avec OPD multi-enseignants et MrDPO

  • Apprentissage par renforcement spécialisé pour des performances améliorées

  • Prend en charge diverses variantes quantifiées (FP8, AWQ, GGUF, NVFP4)

  • Compatible avec vLLM et SGLang patchés pour le service

  • Propose des modes de chat Instruct et Thinking

  1. Configurer l'environnement : Installez l'environnement Transformers et les dépendances nécessaires.

  2. Charger le modèle : Chargez le modèle WeMM-Video-35B-A3B et le processeur depuis Hugging Face Hub.

  3. Préparer les entrées : Fournissez des entrées multimédias telles que des fichiers vidéo MP4, de l'audio autonome, des images ou du texte.

  4. Traiter les médias : Utilisez le script pour traiter les images vidéo seules ou avec la bande sonore originale.

  5. Générer des réponses : Envoyez des requêtes au modèle, en spécifiant le mode de chat (Instruct ou Thinking) pour la génération de texte.

  6. Servir le modèle (optionnel) : Installez le patch d'exécution WeMM et utilisez vLLM ou SGLang patchés pour le service API.

  7. Envoyer des requêtes API : Utilisez le client de requêtes inclus pour envoyer des médias en ligne vers le point de terminaison de chat compatible OpenAI.

  • Analyse de contenu vidéo
  • Transcription de discours
  • Raisonnement multimodal
  • Traitement de contenu bilingue
  • Description d'événements audio-visuels
  • Développement de modèles IA
  • Recherche et expérimentation

Outils IA populaires comme WeMM-Video-35B-A3B

Llama-3.2-11B-Vision-Instruct est un modèle d'IA multimodal conçu pour la reconnaissance visuelle, le raisonnement d'image et la légende. Développé par Meta, il intègre des…

Modèles d'IA et LLM
Voir l'outil

Modèle d'IA multimodal conçu pour la reconnaissance visuelle, le raisonnement d'image et la légende. Développé par Meta, il intègre des…Llama-3.2-11B-Vision-Instruct est un modèle d'IA multimodal conçu pour la reconnaissance visuelle, le raisonnement d'image et la légende. Développé par Meta, il intègre des…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

L'étape 3.7 Flash est un modèle de vision-langage Mixture-of-Experts (MoE) sparse conçu pour des charges de travail de production à haute fréquence. Il combine une architecture…

Modèles d'IA et LLM

N°81 en LLM

Voir l'outil

L'étape 3.7 Flash est un modèle de vision-langage Mixture-of-Experts (MoE) sparse conçu pour des charges de travail de production à haute fréquence. Il combine une architecture…

Modèles d'IA et LLM
N°81 en LLM

Apertus 1.5 est une famille de modèles linguistiques multilingues et multimodaux conçus pour prendre en charge un large éventail de langues et de contextes. Il offre un accès…

Modèles d'IA et LLM

N°72 en LLM

Voir l'outil

Famille de modèles linguistiques multilingues et multimodaux conçus pour prendre en charge un large éventail de langues et de contextes. Il offre un accès…Apertus 1.5 est une famille de modèles linguistiques multilingues et multimodaux conçus pour prendre en charge un large éventail de langues et de contextes. Il offre un accès…

Modèles d'IA et LLM
N°72 en LLM

Llama-4 Maverick 17B-128E Instruct est un modèle d'IA multimodal développé par Meta, conçu pour une compréhension avancée du texte et de l'image. Il utilise une architecture de…

Modèles d'IA et LLM
Voir l'outil

Modèle d'IA multimodal développé par Meta, conçu pour une compréhension avancée du texte et de l'image. Il utilise une architecture de…Llama-4 Maverick 17B-128E Instruct est un modèle d'IA multimodal développé par Meta, conçu pour une compréhension avancée du texte et de l'image. Il utilise une architecture de…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Nemotron-Labs-Audex-2B est un modèle de langage large unifié audio-texte conçu pour des tâches audio telles que la compréhension, la reconnaissance et la traduction. Il prend en…

Modèles d'IA et LLM

N°33 en LLM

Voir l'outil

Modèle de langage large unifié audio-texte conçu pour des tâches audio telles que la compréhension, la reconnaissance et la traduction. Il prend en…Nemotron-Labs-Audex-2B est un modèle de langage large unifié audio-texte conçu pour des tâches audio telles que la compréhension, la reconnaissance et la traduction. Il prend en…

Modèles d'IA et LLM
N°33 en LLM

Gemini 3.1 Pro est un modèle d'IA avancé conçu pour des tâches complexes et un raisonnement approfondi. Il excelle dans la compréhension multimodale, fournissant des réponses…

Modèles d'IA et LLM
Voir l'outil

Modèle d'IA avancé conçu pour des tâches complexes et un raisonnement approfondi. Il excelle dans la compréhension multimodale, fournissant des réponses…Gemini 3.1 Pro est un modèle d'IA avancé conçu pour des tâches complexes et un raisonnement approfondi. Il excelle dans la compréhension multimodale, fournissant des réponses…

En vedetteModèles d'IA et LLM
Voir le Top 5 Modèles IA

Llama-4-Scout-17B-16E-Instruct est un modèle d'IA multimodal conçu par Meta. Il utilise une architecture de mélange d'experts pour fournir des capacités avancées de compréhension…

Modèles d'IA et LLM
Voir l'outil

Modèle d'IA multimodal conçu par Meta. Il utilise une architecture de mélange d'experts pour fournir des capacités avancées de compréhension…Llama-4-Scout-17B-16E-Instruct est un modèle d'IA multimodal conçu par Meta. Il utilise une architecture de mélange d'experts pour fournir des capacités avancées de compréhension…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Qwen3-VL

Dépôts GitHub d'IA

Qwen3-VL est une série de modèles vision-langage de l'équipe Qwen d'Alibaba Cloud, publiée en tailles Dense et Mixture-of-Experts avec des éditions instruct et raisonnement…

Modèles d'IA et LLM
Voir l'outil

Dépôts GitHub d'IA

Série de modèles vision-langage de l'équipe Qwen d'Alibaba Cloud, publiée en tailles Dense et Mixture-of-Experts avec des éditions instruct et raisonnement…Qwen3-VL est une série de modèles vision-langage de l'équipe Qwen d'Alibaba Cloud, publiée en tailles Dense et Mixture-of-Experts avec des éditions instruct et raisonnement…

Modèles d'IA et LLM
Voir le Top 250 Dépôts GitHub d'IA
1 sur 8