Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

WeMM-Video-35B-A3B

LLMs#38Modelos de IA e LLMsCódigo aberto · Web

WeMM-Video-35B-A3B é um modelo de mistura de especialistas da família WeMM-Video, projetado para compreensão e raciocínio áudio-visual conjuntos. Este modelo bilíngue chinês-inglês aceita entradas de texto, imagens, áudio e vídeo para gerar respostas em texto. Ele pode descrever eventos, transcrever fala e raciocinar sobre o que é visto e ouvido, oferecendo modos de resposta diretos e de raciocínio.

Visitar URL
Compartilhar
Captura de tela do WeMM-Video-35B-A3B
Captura de tela do WeMM-Video-35B-A3B

WeMM-Video-35B-A3B é um sofisticado modelo de mistura de especialistas, parte da ampla família WeMM-Video, desenvolvido para compreensão e raciocínio áudio-visual abrangentes. Com 35 bilhões de parâmetros totais e 3 bilhões de parâmetros ativos, este modelo é especificamente projetado para processar e interpretar entradas multimodais, incluindo texto, imagens, áudio e vídeo, gerando respostas textuais coerentes em chinês ou inglês.

Ler mais

As principais capacidades do modelo incluem a habilidade de combinar quadros de vídeo com suas trilhas sonoras originais para descrever eventos, transcrever fala com precisão e realizar tarefas de raciocínio com base em informações visuais e auditivas. Ele também é versátil o suficiente para lidar com vídeo silencioso, áudio independente, imagens e entradas de texto de forma independente. Isso o torna adequado para uma ampla gama de aplicações que exigem uma compreensão contextual profunda em diferentes tipos de mídia.

Arquitetonicamente, WeMM-Video-35B-A3B emprega codificadores de visão e áudio para converter entradas de mídia em tokens, que são então processados por um modelo de linguagem juntamente com texto. Os quadros de vídeo são enriquecidos com timestamps para manter o contexto temporal. A família do modelo passou por um extenso pré-treinamento em aproximadamente 1,2 trilhões de tokens multimodais, seguido por técnicas avançadas de pós-treinamento, como OPD de múltiplos professores, MrDPO anti-repetição e aprendizado por reforço especializado para melhorar seu desempenho e robustez.

A implantação e integração são facilitadas através de várias opções de serviço. Os usuários podem configurar o ambiente Transformers e executar exemplos diretamente do repositório WeMM-Video. O modelo suporta variantes quantizadas como FP8 Block128, AWQ W4A16, GGUF Q4_K_M e NVFP4 W4A16. Para o serviço, é compatível com versões corrigidas do vLLM (0.18.0 e 0.31.0) e SGLang (0.5.16 ou 0.5.19), permitindo uma inferência eficiente, incluindo paralelismo de tensor em várias GPUs. O modelo também oferece diferentes modos de chat, incluindo um modo de instrução padrão e um 'Modo de Pensamento' para respostas de raciocínio.

WeMM-Video-35B-A3B demonstrou um desempenho forte, estabelecendo um novo estado da arte de código aberto. Ele mostrou superar modelos proprietários como Qwen3.5-Omni-Flash e Seed2.0-Mini-0428, reduzindo significativamente a diferença de desempenho com modelos avançados como Gemini-3.0-Flash. O modelo é lançado sob a Licença Apache 2.0, promovendo acesso aberto e colaboração dentro da comunidade de IA.

  • CategoriaModelos de IA e LLMs
  • Modelo de preçosCódigo aberto
  • ImplantaçãoNuvem
  • PlataformasWeb

  • Processamento bilíngue chinês-inglês

  • Compreensão e raciocínio áudio-visual conjuntos

  • Aceita entradas de texto, imagens, áudio e vídeo

  • Gera respostas em texto

  • Descreve eventos a partir de quadros de vídeo e trilhas sonoras

  • Transcreve fala a partir de áudio

  • Raciocina sobre informações visuais e auditivas

  • Suporta vídeo silencioso e processamento de áudio independente

  • Arquitetura de mistura de especialistas (35B totais, 3B parâmetros ativos)

  • Pré-treinado em 1,2 trilhões de tokens multimodais

  • Pós-treinado com OPD de múltiplos professores e MrDPO

  • Aprendizado por reforço especializado para desempenho aprimorado

  • Suporta várias variantes quantizadas (FP8, AWQ, GGUF, NVFP4)

  • Compatível com vLLM e SGLang corrigidos para serviço

  • Oferece modos de chat Instruct e Thinking

  1. Configurar Ambiente: Instale o ambiente Transformers e as dependências necessárias.

  2. Carregar Modelo: Carregue o modelo WeMM-Video-35B-A3B e o processador do Hugging Face Hub.

  3. Preparar Entradas: Forneça entradas de mídia, como arquivos de vídeo MP4, áudio independente, imagens ou texto.

  4. Processar Mídia: Use o script para processar quadros de vídeo sozinhos ou com a trilha sonora original.

  5. Gerar Respostas: Envie solicitações ao modelo, especificando o modo de chat (Instruct ou Thinking) para geração de texto.

  6. Servir Modelo (Opcional): Instale o patch de tempo de execução WeMM e use vLLM ou SGLang corrigidos para serviço de API.

  7. Enviar Solicitações de API: Use o cliente de solicitação incluído para enviar mídia inline ao endpoint de chat compatível com OpenAI.

  • Análise de Conteúdo de Vídeo
  • Transcrição de Fala
  • Raciocínio Multimodal
  • Processamento de Conteúdo Bilíngue
  • Descrição de Eventos Áudio-Visuais
  • Desenvolvimento de Modelos de IA
  • Pesquisa e Experimentação

Ferramentas de IA populares como WeMM-Video-35B-A3B

Llama-3.2-11B-Vision-Instruct é um modelo de IA multimodal projetado para reconhecimento visual, raciocínio de imagem e legendagem. Desenvolvido pela Meta, integra entradas de…

Modelos de IA e LLMs
Ver ferramenta

Modelo de IA multimodal projetado para reconhecimento visual, raciocínio de imagem e legendagem. Desenvolvido pela Meta, integra entradas de…Llama-3.2-11B-Vision-Instruct é um modelo de IA multimodal projetado para reconhecimento visual, raciocínio de imagem e legendagem. Desenvolvido pela Meta, integra entradas de…

Modelos de IA e LLMs
Ver o Top 5 de Modelos de IA

Step 3.7 Flash é um modelo de linguagem-visual Mixture-of-Experts esparso, projetado para cargas de trabalho de produção de alta frequência. Ele combina uma estrutura de linguagem…

Modelos de IA e LLMs

Nº 81 em LLMs

Ver ferramenta

Modelo de linguagem-visual Mixture-of-Experts esparso, projetado para cargas de trabalho de produção de alta frequência. Ele combina uma estrutura de linguagem…Step 3.7 Flash é um modelo de linguagem-visual Mixture-of-Experts esparso, projetado para cargas de trabalho de produção de alta frequência. Ele combina uma estrutura de linguagem…

Modelos de IA e LLMs
Nº 81 em LLMs

Apertus 1.5 é uma família de modelos de linguagem multilíngues e multimodais projetados para suportar uma ampla gama de idiomas e contextos. Oferece acesso de código aberto e…

Modelos de IA e LLMs

Nº 72 em LLMs

Ver ferramenta

Família de modelos de linguagem multilíngues e multimodais projetados para suportar uma ampla gama de idiomas e contextos. Oferece acesso de código aberto e…Apertus 1.5 é uma família de modelos de linguagem multilíngues e multimodais projetados para suportar uma ampla gama de idiomas e contextos. Oferece acesso de código aberto e…

Modelos de IA e LLMs
Nº 72 em LLMs

Llama-4 Maverick 17B-128E Instruct é um modelo de IA multimodal desenvolvido pela Meta, projetado para compreensão avançada de texto e imagem. Ele utiliza uma arquitetura de…

Modelos de IA e LLMs
Ver ferramenta

Modelo de IA multimodal desenvolvido pela Meta, projetado para compreensão avançada de texto e imagem. Ele utiliza uma arquitetura de…Llama-4 Maverick 17B-128E Instruct é um modelo de IA multimodal desenvolvido pela Meta, projetado para compreensão avançada de texto e imagem. Ele utiliza uma arquitetura de…

Modelos de IA e LLMs
Ver o Top 5 de Modelos de IA

Nemotron-Labs-Audex-2B é um modelo de linguagem grande unificado de áudio-texto projetado para tarefas de áudio, como compreensão, reconhecimento e tradução. Ele suporta modos de…

Modelos de IA e LLMs

Nº 33 em LLMs

Ver ferramenta

Modelo de linguagem grande unificado de áudio-texto projetado para tarefas de áudio, como compreensão, reconhecimento e tradução. Ele suporta modos de…Nemotron-Labs-Audex-2B é um modelo de linguagem grande unificado de áudio-texto projetado para tarefas de áudio, como compreensão, reconhecimento e tradução. Ele suporta modos de…

Modelos de IA e LLMs
Nº 33 em LLMs

Gemini 3.1 Pro é um modelo de IA avançado projetado para tarefas complexas e raciocínio profundo. Ele se destaca na compreensão multimodal, fornecendo respostas inteligentes e…

Modelos de IA e LLMs
Ver ferramenta

Modelo de IA avançado projetado para tarefas complexas e raciocínio profundo. Ele se destaca na compreensão multimodal, fornecendo respostas inteligentes e…Gemini 3.1 Pro é um modelo de IA avançado projetado para tarefas complexas e raciocínio profundo. Ele se destaca na compreensão multimodal, fornecendo respostas inteligentes e…

DestaqueModelos de IA e LLMs
Ver o Top 5 de Modelos de IA

Llama-4-Scout-17B-16E-Instruct é um modelo de IA multimodal desenvolvido pela Meta. Ele utiliza uma arquitetura de mistura de especialistas para fornecer capacidades avançadas de…

Modelos de IA e LLMs
Ver ferramenta

Modelo de IA multimodal desenvolvido pela Meta. Ele utiliza uma arquitetura de mistura de especialistas para fornecer capacidades avançadas de…Llama-4-Scout-17B-16E-Instruct é um modelo de IA multimodal desenvolvido pela Meta. Ele utiliza uma arquitetura de mistura de especialistas para fornecer capacidades avançadas de…

Modelos de IA e LLMs
Ver o Top 5 de Modelos de IA

Qwen3-VL

Repositórios de IA no GitHub

Qwen3-VL é uma série de modelos de linguagem-visual da equipe Qwen da Alibaba Cloud, lançada em tamanhos Dense e Mixture-of-Experts, com edições de instrução e raciocínio…

Modelos de IA e LLMs
Ver ferramenta

Repositórios de IA no GitHub

Série de modelos de linguagem-visual da equipe Qwen da Alibaba Cloud, lançada em tamanhos Dense e Mixture-of-Experts, com edições de instrução e raciocínio…Qwen3-VL é uma série de modelos de linguagem-visual da equipe Qwen da Alibaba Cloud, lançada em tamanhos Dense e Mixture-of-Experts, com edições de instrução e raciocínio…

Modelos de IA e LLMs
Ver o Top 250 de Repositórios de IA no GitHub
1 de 8