説明
Hy-Nomasは、テキスト指示とカメラ制御を通じて自由形式のマルチターンインタラクションを促進するために設計された高度なビデオワールド生成モデルです。このモデルは、ビデオセグメントを1つずつ生成し、ユーザーがオブジェクトを導入し、スタイルを変更し、生成が進行するにつれてシーンやカメラアングルを制御できるようにします。モデルアーキテクチャは、セグメント自己回帰型拡散トランスフォーマー(DiT)、Qwenテキストエンコーダー、カメラ条件モジュール、およびPixelUMMビデオデコーダーを統合しています。持続的なキー/バリューキャッシュは、セグメント間のコンテキストを維持し、ワールド生成の連続性を確保します。
続きを読む
このモデルは、標準のシーケンス並列構成と単一GPU構成を含む柔軟な展開オプションをサポートしており、さまざまなハードウェアセットアップで利用可能です。ユーザーは、リアルタイムでその機能を示すウェブデモを通じてモデルと対話できます。Hy-Nomasには、連続的なワールド生成中のインタラクティブな制御性と一貫性を評価するために設計されたベンチマークスイートであるHy-Nomas-Benchも含まれています。
Hy-Nomasは、圧縮されたビデオ潜在空間で拡散を行い、ビデオセグメント間で自己回帰を行います。テキスト、カメラの動き、およびキャッシュされた履歴が各新しいセグメントの生成を条件付け、動的でインタラクティブなビデオ作成を可能にします。モデルのアーキテクチャは、テキストとビデオがセグメントごとの因果共同注意を通じて相互作用する54のデュアルストリームMMDiTブロックを特徴としています。
モデルのビデオ潜在はDCAE-V潜在として表現され、デフォルトの推論パイプラインは、微調整されたPixelUMMデコーダーを使用してそれらをデコードします。このセットアップにより、高品質の出力で効率的なビデオ生成が可能になります。Hy-NomasはApache-2.0の下でライセンスされており、ユーザーはHugging Faceプラットフォームを通じてモデルとそのコンポーネントにアクセスできます。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド, セルフホスト
- プラットフォームWeb
Hy-Nomasのハイライト
テキストとカメラ制御による自由形式のインタラクション
セグメント自己回帰型拡散トランスフォーマーアーキテクチャ
コンテキスト保持のための持続的なキー/バリューキャッシュ
標準および単一GPU構成による柔軟な展開
インタラクティブな制御性を評価するためのHy-Nomas-Bench
圧縮されたビデオ潜在空間での拡散
54のデュアルストリームMMDiTブロック
微調整されたPixelUMMビデオデコーダー
Hy-Nomasをはじめる
モデルにアクセス: Hugging Faceを訪問
認証: アカウントを設定
環境を設定: ハードウェアとソフトウェアを準備
API経由で統合: 提供されたエンドポイントを使用
最適化: 希望する出力のために設定を調整
Hy-Nomasの使用例
- インタラクティブビデオ作成
- ゲーム開発
- バーチャルリアリティ
- 映画制作
- 教育コンテンツ










