説明
Mage-VLは、画像および動画理解の課題に対処するために開発された革新的なマルチモーダル基盤モデルです。視覚データを効率的に処理するコーデックネイティブなプロアクティブストリーミングモデルとして設計されています。このモデルの視覚エンコーダーであるMage-ViTは、ゼロからトレーニングされ、コンパクトな4Bスケールで動作します。このエンコーダーは、コーデック由来の空間的および時間的な重要性に基づいてトークンを割り当てる能力が独特であり、同じ計算予算の下で最大8倍長い動画を処理することができます。
続きを読む
Mage-VLのアーキテクチャには、唯一の事前トレーニングされたコンポーネントであるQwen3-4B因果デコーダーが含まれています。このデコーダーは、Mage-ViTと連携して可変長トークンストリームを処理し、異なる長さの画像と動画に対して統一されたインターフェースをサポートします。モデルの二重プロセス設計には、コンテンツを監視し、必要なときにのみ完全な視覚言語モデルをアクティブにするプロアクティブストリーミングを可能にする認知ゲートが組み込まれています。
このモデルのコーデックネイティブアプローチは、視覚トークンの消費を75%以上削減し、従来の方法と比較して3.5倍の推論速度向上を実現します。この効率性は、精度を損なうことなく達成されており、Mage-VLはリアルタイムの動画分析と理解のための強力なツールとなっています。
Mage-VLは特に動画理解と空間的知性に強く、いくつかのベンチマークで同等のモデルを上回っています。そのプロアクティブストリーミング機能は、SoccerNetストリーミングタスクでのパフォーマンスを通じて示されており、低遅延のイベントゲート付き解説を提供します。
全体として、Mage-VLはマルチモーダルAIモデルにおける重要な進展を表しており、複雑な視覚タスクに対するデータ効率の良いソリューションを提供します。そのオープンソースの性質と包括的な機能は、人工知能の分野における開発者や研究者にとって貴重なリソースとなります。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
Mage-VLのハイライト
コーデックネイティブ視覚エンコーダー
プロアクティブストリーミングゲート
Qwen3-4B因果デコーダー
3.5倍の推論速度向上
データ効率の良いトークナイザー
可変解像度の事前トレーニング
画像と動画のための統一モデル
イベントゲート付き解説
Mage-VLをはじめる
モデルページにアクセス: Hugging Faceリポジトリを訪問
認証: Hugging Faceアカウントの資格情報を使用
設定: モデルパラメータと環境を設定
プロンプトを送信: 処理する画像または動画データを入力
ファインチューニング: 特定のタスクに合わせてモデル設定を調整
Mage-VLの使用例
- リアルタイム動画分析
- 空間知性
- イベントゲート付き解説
- 画像理解
- プロアクティブストリーミング











