Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

WeMM-Video-35B-A3B

LLMs#38KI-Modelle & LLMsOpen Source · Web

WeMM-Video-35B-A3B ist ein Mischung-von-Experten-Modell aus der WeMM-Video-Familie, das für das gemeinsame audio-visuelle Verständnis und die Argumentation entwickelt wurde. Dieses chinesisch-englische bilinguale Modell akzeptiert Texte, Bilder, Audio- und Videoeingaben, um Textantworten zu generieren. Es kann Ereignisse beschreiben, Sprache transkribieren und über das, was gesehen und gehört wird, nachdenken, und bietet sowohl direkte als auch argumentierende Antwortmodi.

URL besuchen
Teilen
Screenshot von WeMM-Video-35B-A3B
Screenshot von WeMM-Video-35B-A3B

WeMM-Video-35B-A3B ist ein anspruchsvolles Mischung-von-Experten-Modell, das Teil der umfassenderen WeMM-Video-Familie ist und für ein umfassendes audio-visuelles Verständnis und Argumentation entwickelt wurde. Mit insgesamt 35 Milliarden Parametern und 3 Milliarden aktiven Parametern ist dieses Modell speziell darauf ausgelegt, multimodale Eingaben zu verarbeiten und zu interpretieren, einschließlich Text, Bilder, Audio und Video, und generiert kohärente Textantworten entweder in Chinesisch oder Englisch.

Weiterlesen

Die Kernfähigkeiten des Modells umfassen die Fähigkeit, Videobilder mit ihren ursprünglichen Soundtracks zu kombinieren, um Ereignisse zu beschreiben, Sprache genau zu transkribieren und Argumentationsaufgaben basierend auf visuellen und auditiven Informationen durchzuführen. Es ist auch vielseitig genug, um stummes Video, eigenständige Audios, Bilder und Texteingaben unabhängig zu verarbeiten. Dies macht es geeignet für eine Vielzahl von Anwendungen, die ein tiefes kontextuelles Verständnis über verschiedene Medientypen hinweg erfordern.

Architektonisch verwendet WeMM-Video-35B-A3B Vision- und Audio-Encoder, um Medieneingaben in Tokens umzuwandeln, die dann zusammen mit Text von einem Sprachmodell verarbeitet werden. Videobilder werden mit Zeitstempeln angereichert, um den zeitlichen Kontext aufrechtzuerhalten. Die Modellfamilie wurde umfangreich auf etwa 1,2 Billionen multimodalen Tokens vortrainiert, gefolgt von fortgeschrittenen Nachschulungstechniken wie Multi-Teacher OPD, Anti-Wiederholungs MrDPO und spezialisiertem Reinforcement Learning, um die Leistung und Robustheit zu verbessern.

Die Bereitstellung und Integration werden durch verschiedene Bereitstellungsoptionen erleichtert. Benutzer können die Transformers-Umgebung einrichten und Beispiele direkt aus dem WeMM-Video-Repository ausführen. Das Modell unterstützt quantisierte Varianten wie FP8 Block128, AWQ W4A16, GGUF Q4_K_M und NVFP4 W4A16. Für die Bereitstellung ist es kompatibel mit gepatchten Versionen von vLLM (0.18.0 und 0.31.0) und SGLang (0.5.16 oder 0.5.19), was eine effiziente Inferenz, einschließlich Tensorparallelität über mehrere GPUs, ermöglicht. Das Modell bietet auch verschiedene Chat-Modi, einschließlich eines Standard-Instruct-Modus und eines „Thinking-Modus“ für argumentierende Antworten.

WeMM-Video-35B-A3B hat eine starke Leistung gezeigt und einen neuen Open-Source-Stand der Technik etabliert. Es hat sich als überlegen gegenüber proprietären Modellen wie Qwen3.5-Omni-Flash und Seed2.0-Mini-0428 erwiesen und die Leistungsdifferenz zu fortgeschrittenen Modellen wie Gemini-3.0-Flash erheblich verringert. Das Modell wird unter der Apache License 2.0 veröffentlicht, was den offenen Zugang und die Zusammenarbeit innerhalb der KI-Community fördert.

  • KategorieKI-Modelle & LLMs
  • PreismodellOpen Source
  • BereitstellungCloud
  • PlattformenWeb

  • Chinesisch-englische bilinguale Verarbeitung

  • Gemeinsames audio-visuelles Verständnis und Argumentation

  • Akzeptiert Texte, Bilder, Audio- und Videoeingaben

  • Generiert Textantworten

  • Beschreibt Ereignisse aus Videobildern und Soundtracks

  • Transkribiert Sprache aus Audio

  • Argumentiert über visuelle und auditive Informationen

  • Unterstützt die Verarbeitung von stillem Video und eigenständigem Audio

  • Mischung-von-Experten-Architektur (35B insgesamt, 3B aktive Parameter)

  • Vortrainiert auf 1,2 Billionen multimodalen Tokens

  • Nachtrainiert mit Multi-Teacher OPD und MrDPO

  • Spezialisiertes Reinforcement Learning zur Leistungssteigerung

  • Unterstützt verschiedene quantisierte Varianten (FP8, AWQ, GGUF, NVFP4)

  • Kompatibel mit gepatchtem vLLM und SGLang für die Bereitstellung

  • Bietet Instruct- und Thinking-Chat-Modi

  1. Umgebung einrichten: Installieren Sie die Transformers-Umgebung und die erforderlichen Abhängigkeiten.

  2. Modell laden: Laden Sie das WeMM-Video-35B-A3B-Modell und den Prozessor aus dem Hugging Face Hub.

  3. Eingaben vorbereiten: Stellen Sie Medieneingaben wie MP4-Video-Dateien, eigenständige Audios, Bilder oder Texte bereit.

  4. Medien verarbeiten: Verwenden Sie das Skript, um Videobilder allein oder mit dem ursprünglichen Audiotrack zu verarbeiten.

  5. Antworten generieren: Senden Sie Anfragen an das Modell und geben Sie den Chat-Modus (Instruct oder Thinking) für die Textgenerierung an.

  6. Modell bereitstellen (optional): Installieren Sie den WeMM-Laufzeit-Patch und verwenden Sie gepatchtes vLLM oder SGLang für die API-Bereitstellung.

  7. API-Anfragen senden: Verwenden Sie den gebündelten Anfrage-Client, um Medien inline an den OpenAI-kompatiblen Chat-Endpunkt zu senden.

  • Video-Inhaltsanalyse
  • Sprachtranskription
  • Multimodale Argumentation
  • Bilinguale Inhaltsverarbeitung
  • Audio-visuelle Ereignisbeschreibung
  • Entwicklung von KI-Modellen
  • Forschung und Experimentation

Beliebte KI-Tools wie WeMM-Video-35B-A3B

Llama-3.2-11B-Vision-Instruct ist ein multimodales KI-Modell, das für visuelle Erkennung, Bildverständnis und Bildbeschriftung entwickelt wurde. Es wurde von Meta entwickelt und…

KI-Modelle & LLMs
Tool ansehen

Multimodales KI-Modell, das für visuelle Erkennung, Bildverständnis und Bildbeschriftung entwickelt wurde. Es wurde von Meta entwickelt und…Llama-3.2-11B-Vision-Instruct ist ein multimodales KI-Modell, das für visuelle Erkennung, Bildverständnis und Bildbeschriftung entwickelt wurde. Es wurde von Meta entwickelt und…

KI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Schritt 3.7 Flash ist ein sparsames Mixture-of-Experts-Vision-Language-Modell, das für hochfrequente Produktionsarbeitslasten entwickelt wurde. Es kombiniert ein Sprach-Backbone…

KI-Modelle & LLMs

Platz 81 in LLMs

Tool ansehen

Sparsames Mixture-of-Experts-Vision-Language-Modell, das für hochfrequente Produktionsarbeitslasten entwickelt wurde. Es kombiniert ein Sprach-Backbone…Schritt 3.7 Flash ist ein sparsames Mixture-of-Experts-Vision-Language-Modell, das für hochfrequente Produktionsarbeitslasten entwickelt wurde. Es kombiniert ein Sprach-Backbone…

KI-Modelle & LLMs
Platz 81 in LLMs

Apertus 1.5 ist eine Familie von mehrsprachigen, multimodalen Sprachmodellen, die entwickelt wurden, um eine breite Palette von Sprachen und Kontexten zu unterstützen. Es bietet…

KI-Modelle & LLMs

Platz 72 in LLMs

Tool ansehen

Familie von mehrsprachigen, multimodalen Sprachmodellen, die entwickelt wurden, um eine breite Palette von Sprachen und Kontexten zu unterstützen. Es bietet…Apertus 1.5 ist eine Familie von mehrsprachigen, multimodalen Sprachmodellen, die entwickelt wurden, um eine breite Palette von Sprachen und Kontexten zu unterstützen. Es bietet…

KI-Modelle & LLMs
Platz 72 in LLMs

Llama-4 Maverick 17B-128E Instruct ist ein multimodales KI-Modell, das von Meta entwickelt wurde und für fortgeschrittenes Text- und Bildverständnis konzipiert ist. Es nutzt eine…

KI-Modelle & LLMs
Tool ansehen

Multimodales KI-Modell, das von Meta entwickelt wurde und für fortgeschrittenes Text- und Bildverständnis konzipiert ist. Es nutzt eine…Llama-4 Maverick 17B-128E Instruct ist ein multimodales KI-Modell, das von Meta entwickelt wurde und für fortgeschrittenes Text- und Bildverständnis konzipiert ist. Es nutzt eine…

KI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Nemotron-Labs-Audex-2B ist ein einheitliches Audio-Text-Großmodell, das für Audioaufgaben wie Verständnis, Erkennung und Übersetzung entwickelt wurde. Es unterstützt sowohl Denk-…

KI-Modelle & LLMs

Platz 33 in LLMs

Tool ansehen

Einheitliches Audio-Text-Großmodell, das für Audioaufgaben wie Verständnis, Erkennung und Übersetzung entwickelt wurde. Es unterstützt sowohl Denk-…Nemotron-Labs-Audex-2B ist ein einheitliches Audio-Text-Großmodell, das für Audioaufgaben wie Verständnis, Erkennung und Übersetzung entwickelt wurde. Es unterstützt sowohl Denk-…

KI-Modelle & LLMs
Platz 33 in LLMs

Gemini 3.1 Pro ist ein fortschrittliches KI-Modell, das für komplexe Aufgaben und tiefes Denken entwickelt wurde. Es zeichnet sich durch multimodales Verständnis aus, bietet…

KI-Modelle & LLMs
Tool ansehen

Fortschrittliches KI-Modell, das für komplexe Aufgaben und tiefes Denken entwickelt wurde. Es zeichnet sich durch multimodales Verständnis aus, bietet…Gemini 3.1 Pro ist ein fortschrittliches KI-Modell, das für komplexe Aufgaben und tiefes Denken entwickelt wurde. Es zeichnet sich durch multimodales Verständnis aus, bietet…

EmpfohlenKI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Llama-4-Scout-17B-16E-Instruct ist ein multimodales KI-Modell, das von Meta entwickelt wurde. Es nutzt eine Mischung-von-Experten-Architektur, um fortschrittliche Text- und…

KI-Modelle & LLMs
Tool ansehen

Multimodales KI-Modell, das von Meta entwickelt wurde. Es nutzt eine Mischung-von-Experten-Architektur, um fortschrittliche Text- und…Llama-4-Scout-17B-16E-Instruct ist ein multimodales KI-Modell, das von Meta entwickelt wurde. Es nutzt eine Mischung-von-Experten-Architektur, um fortschrittliche Text- und…

KI-Modelle & LLMs
Top 5 KI-Modelle ansehen

Qwen3-VL

KI-GitHub-Repos

Qwen3-VL ist eine Serie von Vision-Language-Modellen des Qwen-Teams von Alibaba Cloud, die in dichten und Mixture-of-Experts-Größen mit sowohl Instruct- als auch Thinking-Ausgaben…

KI-Modelle & LLMs
Tool ansehen

KI-GitHub-Repos

Serie von Vision-Language-Modellen des Qwen-Teams von Alibaba Cloud, die in dichten und Mixture-of-Experts-Größen mit sowohl Instruct- als auch Thinking-Ausgaben…Qwen3-VL ist eine Serie von Vision-Language-Modellen des Qwen-Teams von Alibaba Cloud, die in dichten und Mixture-of-Experts-Größen mit sowohl Instruct- als auch Thinking-Ausgaben…

KI-Modelle & LLMs
Top 250 KI-GitHub-Repos ansehen
1 von 8