説明
WeMM-Video-35B-A3Bは、包括的な音声と視覚の理解と推論のために開発された高度なミクスチャー・オブ・エキスパートモデルで、WeMM-Videoファミリーの一部です。合計350億のパラメータと30億のアクティブパラメータを持つこのモデルは、テキスト、画像、音声、動画などのマルチモーダル入力を処理し、中文または英語で一貫したテキスト応答を生成するように特別に設計されています。
続きを読む
このモデルの主な機能には、動画フレームとその元のサウンドトラックを組み合わせてイベントを説明する能力、音声を正確に文字起こしする能力、視覚情報と聴覚情報の両方に基づいて推論タスクを実行する能力が含まれます。また、サイレント動画、スタンドアロン音声、画像、テキスト入力を独立して処理することもできるため、異なるメディアタイプにわたる深い文脈理解を必要とする幅広いアプリケーションに適しています。
WeMM-Video-35B-A3Bは、メディア入力をトークンに変換するために視覚および音声エンコーダを使用し、テキストと共に言語モデルによって処理されます。動画フレームには、時間的文脈を維持するためにタイムスタンプが付加されます。このモデルファミリーは、約1.2兆のマルチモーダルトークンで広範な事前トレーニングを受け、その後、パフォーマンスと堅牢性を向上させるために、マルチティーチャーOPD、反復防止MrDPO、専門的強化学習などの高度なポストトレーニング技術が適用されました。
デプロイメントと統合は、さまざまなサービングオプションを通じて容易に行えます。ユーザーはTransformers環境を設定し、WeMM-Videoリポジトリから直接例を実行できます。このモデルは、FP8 Block128、AWQ W4A16、GGUF Q4_K_M、NVFP4 W4A16などの量子化されたバリアントをサポートしています。サービングには、vLLM(0.18.0および0.31.0)のパッチ版およびSGLang(0.5.16または0.5.19)と互換性があり、複数のGPUにわたるテンソル並列処理を含む効率的な推論を可能にします。また、デフォルトのインストラクトモードと推論応答用の「思考モード」を含むさまざまなチャットモードも提供しています。
WeMM-Video-35B-A3Bは、強力なパフォーマンスを示し、新しいオープンソースの最先端を確立しました。Qwen3.5-Omni-FlashやSeed2.0-Mini-0428などのプロプライエタリモデルを上回り、Gemini-3.0-Flashなどの高度なモデルとのパフォーマンスギャップを大幅に縮小することが示されています。このモデルはApache License 2.0の下でリリースされており、AIコミュニティ内でのオープンアクセスとコラボレーションを促進しています。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
WeMM-Video-35B-A3Bのハイライト
中英バイリンガル処理
音声と視覚の共同理解と推論
テキスト、画像、音声、動画の入力を受け付ける
テキスト応答を生成する
動画フレームとサウンドトラックからイベントを説明する
音声からスピーチを文字起こしする
視覚情報と聴覚情報について推論する
サイレント動画とスタンドアロン音声の処理をサポートする
ミクスチャー・オブ・エキスパートアーキテクチャ(合計35B、アクティブパラメータ3B)
1.2兆のマルチモーダルトークンで事前トレーニング済み
マルチティーチャーOPDおよびMrDPOでポストトレーニング済み
パフォーマンス向上のための専門的強化学習
さまざまな量子化バリアントをサポート(FP8、AWQ、GGUF、NVFP4)
サービング用にパッチされたvLLMおよびSGLangと互換性がある
インストラクトおよび思考チャットモードを提供
WeMM-Video-35B-A3Bをはじめる
環境の設定: Transformers環境と必要な依存関係をインストールします。
モデルの読み込み: Hugging Face HubからWeMM-Video-35B-A3Bモデルとプロセッサを読み込みます。
入力の準備: MP4動画ファイル、スタンドアロン音声、画像、またはテキストなどのメディア入力を提供します。
メディアの処理: スクリプトを使用して、動画フレームを元の音声トラックと共に処理します。
応答の生成: モデルにリクエストを送信し、テキスト生成のためにチャットモード(インストラクトまたは思考)を指定します。
モデルの提供(オプション): WeMMランタイムパッチをインストールし、APIサービングのためにパッチされたvLLMまたはSGLangを使用します。
APIリクエストの送信: バンドルされたリクエストクライアントを使用して、メディアをOpenAI互換のチャットエンドポイントにインラインで送信します。
WeMM-Video-35B-A3Bの使用例
- 動画コンテンツ分析
- スピーチ文字起こし
- マルチモーダル推論
- バイリンガルコンテンツ処理
- 音声視覚イベント説明
- AIモデル開発
- 研究と実験












