説明
Invoker-Renderは、inclusionAIによって開発された高度なビデオからビデオへのAIモデルであり、高度に制御可能なビデオ生成を可能にします。331.2億パラメータを持つこのモデルは、構造プロキシ、単一の外観参照画像、およびテキストプロンプトに基づいてビデオの外観を生成することに焦点を当てています。これは、視覚プロキシがカメラパス、シーンレイアウト、オブジェクトの動きなどの要素を決定し、ビデオモデルが視覚レンダリングを処理するという原則に基づいて動作します。
続きを読む
Invoker-Renderの核心は、その因果ストリーミングDiTウェイトにあり、これはそのリポジトリにホストされています。このモデルは、因果的な4ステップストリーミング生成を促進するために、コンパニオンのCodeWorldModel推論コードと連携して動作するように設計されています。このセットアップは、MiniMax-H3、SGLang、SGLang-Omniなどの堅牢なフレームワークに基づいて構築されており、効率的でスケーラブルな操作を保証します。
Invoker-Renderの主な特徴には、長期ストリーミングの能力が含まれており、プロキシフレームが提供される限り、セッションを無限に実行できることが可能です。これは、固定された外観アンカーと制限された履歴ウィンドウを通じて実現され、長期間にわたって視覚的一貫性を維持します。さらに、このモデルはマルチグラニュラリティ制御を提供し、セマンティックマップ、スパース3Dボックス、主題マスク、シェーディングされたジオメトリ、スケルトンを持つボックスなど、幅広い構造入力を受け入れ、生成されるビデオコンテンツに対してユーザーに正確な制御を提供します。
インタラクティブな展開のために、コンパニオンコードはWebSocketセッションサービス、ファイルクライアント、およびブラウザクライアントを提供し、さまざまなアプリケーションでモデルを利用できるようにします。モデルのウェイトは、29のsafetensorsシャードにわたってFP32形式で保存されており、合計約132.5GBです。リポジトリには主要な因果ストリーミングDiTウェイトが含まれていますが、ユーザーは推論のためにVAE、Qwen、因果デコーダー、サイレンステンソルなどの一致するアセットを別途準備する必要があります。推論のためのデフォルトのプロダクションプロファイルは、通常、単一ノード上で8つのNVIDIA GPUを必要とし、1344×768 RGBの最初の画像、24 FPSのプロキシビデオ、およびテキストプロンプトなどの入力を処理します。
- カテゴリーAIモデルとLLM
- デプロイクラウド
- プラットフォームWeb
Invoker-Renderのハイライト
ビデオからビデオモデル: 構造プロキシと入力からビデオの外観を生成します。
330億パラメータ: 高度なビデオ生成能力のための大規模モデルサイズ。
プロキシ条件付きレンダリング: 視覚プロキシを使用してカメラパス、シーンレイアウト、オブジェクトの動きを制御します。
外観参照画像入力: ビジュアルスタイルをガイドするために1つの画像を受け取ります。
テキストプロンプト入力: コンテンツ生成のためのテキスト記述を受け入れます。
因果ストリーミングDiTウェイト: ストリーミング生成のための特定のモデルウェイトを利用します。
長期ストリーミング: プロキシフレームが到着する限り、連続的なビデオ生成をサポートします。
固定外観アンカー: 長期セッションにわたって一貫した外観を維持します。
マルチグラニュラリティ制御: セマンティックマップ、3Dボックス、主題マスクなどの多様な構造入力を受け入れます。
インタラクティブ展開: コンパニオンコードはWebSocket、ファイル、ブラウザクライアントを提供します。
FP32ウェイト: モデルウェイトはフル精度で保存されています。
MiniMax-H3ベースモデル: MiniMax-H3アーキテクチャに基づいて構築されています。
Apache-2.0ライセンス: リポジトリの使用を規定します。
CC BY-NC 4.0ライセンス: 非商業利用に適用されます。
Invoker-Renderをはじめる
モデルウェイトにアクセス: リポジトリのルートから主要な因果ストリーミングDiTウェイトをダウンロードします。
アセットを準備: VAE、Qwen、因果デコーダーなどの一致するアセットを別途取得し、準備します。
環境を設定: コンパニオンのCodeWorldModelリポジトリ内のREADME.mdおよびdocs/INFERENCE.mdに従います。
バンドルを準備: コンパニオンリポジトリの指示に従って推論バンドルを作成します。
サービスを開始または推論を実行: WebSocketセッションサービスを開始するか、invoker_render.pyを使用してファイル推論を実行します。
入力を提供: 1344×768 RGBの最初の画像、24 FPSのプロキシビデオ、およびテキストプロンプトを提供します。
Invoker-Renderの使用例
- 制御可能なビデオ生成
- 長編ビデオ制作
- セマンティックビデオ編集
- 3Dシーンレンダリング
- インタラクティブビデオアプリケーション




