説明
EvTextureとそのジャーナル拡張版であるEvTexture++は、イベント駆動型テクスチャ強調を組み込むことで、ビデオ超解像（VSR）のための高度なソリューションを提供します。中国科学技術大学の研究者によって開発されたこれらのプロジェクトは、イベントカメラからのデータを利用します。イベントカメラは、高い時間分解能と低遅延で動き情報をキャプチャし、アップスケールされたビデオの品質を大幅に向上させます。
ICML 2024で発表されたEvTextureは、超解像プロセス中にビデオのテクスチャの詳細を強化することに焦点を当てています。その後のジャーナル拡張版であるEvTexture++は、2026年にIEEE TPAMIに採択され、これらの技術をさらに洗練させ、より高い忠実度と堅牢性を実現しています。両方の実装は公式のPyTorchコードとして提供されており、研究者や開発者はこの最先端技術を統合し、その上に構築することができます。
このリポジトリは、REDSやVimeo-90Kなどのさまざまなデータセットや劣化タイプに対応する事前学習済みモデル（4倍超解像をサポート）を含む包括的なリソースを提供します。また、ビデオフレームと対応するイベントデータの両方を含むVid4やREDS4のようなベンチマーク用の準備済みテストデータセットへのアクセスも提供します。インストール手順は、Conda環境とDockerの両方について詳細に記載されており、幅広いユーザーが利用できるようになっています。
主な機能には、標準のビデオフレームとイベントストリームを並行して処理し、より細かいテクスチャを再構築し、従来のVSR手法でしばしば見られるアーティファクトを削減する能力が含まれます。このプロジェクトはBasicSRフレームワーク上に構築されており、RAFT、event_utils、EvTexture-jupyterなどの他の注目すべき作品からインスピレーションを得ています。この基盤により、効率的な実験と展開が可能になります。プロジェクトはApache-2.0ライセンスの下でリリースされており、イベント駆動型ビデオ強調の分野におけるオープンな協力とさらなる研究を奨励しています。
EvTexture & EvTexture++の主要機能
ビデオ超解像のためのイベント駆動型テクスチャ強調
EvTexture（ICML 2024）の公式PyTorch実装
EvTexture++（TPAMI 2026）の公式PyTorch実装
REDSおよびVimeo-90Kデータセット用の事前学習済みモデルを含む
4倍超解像スケールをサポート
Vid4およびREDS4用の事前処理済みテストデータセットを提供
アップサンプリング結果を示すビデオデモを含む
CondaおよびDockerによるインストールを提供
BasicSRフレームワーク上に構築
オープンな使用と変更のためのApache-2.0ライセンス
EvTexture & EvTexture++をはじめる
リポジトリのクローン: GitHubリポジトリからEvTextureコードを取得します。
依存関係のインストール: 指定されたPyTorchおよびCUDAバージョンで必要なPython環境をセットアップするか、提供されたDockerイメージを使用します。
モデルとデータのダウンロード: Vid4およびREDS4用の事前学習済みモデルと事前処理済みテストデータを取得します。
テストの設定: テスト設定ファイル（例: options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml）を調整します。
テストの実行: 指定されたGPU数で分散テストスクリプトを実行します。
結果の分析: 'results/'ディレクトリ内の生成された推論結果を確認します。
EvTexture & EvTexture++の使用例
- ビデオ超解像
- テクスチャ強調
- イベントカメラデータ処理
- ビデオ復元研究
- リアルタイムビデオアップスケーリング
- 低照度ビデオ改善
