UNITER Research Code

説明

ECCV 2020の論文「UNITER: UNiversal Image-TExt Representation Learning」で発表されたUNITER研究コードリポジトリは、マルチモーダルAI研究のための包括的なツールセットを提供します。このリポジトリは、Visual Question Answering (VQA)、Visual Commonsense Reasoning (VCR)、SNLI-VE (Visual Entailment)、COCOやFlickr30kなどのデータセットに対する画像-テキスト検索、およびReferring Expression Comprehensions (RefCOCO, RefCOCO+, RefCOCO-g) を含む、一連のビジョンと言語のタスクにおけるファインチューニングと推論を容易にします。

UNITERは、ユニバーサルな画像-テキスト表現学習フレームワーク上に構築されています。このコードは、UNITER-baseとUNITER-largeの両方の事前学習済みチェックポイントをサポートしており、ドメイン内事前学習のオプションも提供します。リポジトリには、データの前処理、モデルのトレーニング、および推論のためのスクリプトが含まれています。PyTorch、HuggingFace Transformers、OpenNMT、NvidiaのDeepLearningExamplesなどの外部ライブラリを活用しており、画像特徴量はBUTDを使用して抽出されます。

再現性を容易にするために、Dockerイメージが提供されており、特定のNVIDIAドライバーとDockerバージョンが必要です。セットアップには、ソースコードとデータディレクトリをコンテナにマウントすることが含まれます。リポジトリは、NLVR2のようなタスクのクイックスタートガイドを詳細に説明しており、データダウンロード、Dockerコンテナの起動、ファインチューニング、および推論/評価手順を示しています。コマンドライン引数とJSON設定ファイルを通じてカスタマイズがサポートされており、Horovodを使用したマルチGPUトレーニングのオプションもあります。

このプロジェクトでは、VQA、VCR（第2段階の事前学習オプションを含む）、Visual Entailment、Image-Text Retrieval（ゼロショットおよびFlickr30kとCOCO用のハードネガティブを使用したファインチューニング）、Referring Expressions、およびドメイン内事前学習などの下流タスクの手順も概説しています。ユーザーは、特定のデータセットのダウンロードと、それぞれのトレーニングおよび推論スクリプトの実行について案内されます。リポジトリはMITライセンスの下で公開されています。

UNITER Research Codeのハイライト

• ECCV 2020論文「UNITER: UNiversal Image-TExt Representation Learning」の公式研究コード

• NLVR2、VQA、VCR、SNLI-VE、画像-テキスト検索、およびReferring Expressionsのファインチューニングをサポート

• UNITER-baseおよびUNITER-largeモデルの事前学習済みチェックポイントを提供

• データ前処理、モデルトレーニング、および推論のためのスクリプトを含む

• 再現性と環境設定を簡素化するためのDockerイメージを提供

• HorovodによるマルチGPUトレーニングをサポート

• 画像-テキスト検索タスクのゼロショットおよびファインチューニングのためのコードを含む

• ドメイン内事前学習およびVCR第2段階事前学習を容易にする

UNITER Research Codeをはじめる

1. 1

   提供されているbashスクリプトを使用して、事前学習済みチェックポイントとタスク固有のデータをダウンロードします。

2. 2

   一貫性のある再現可能な環境のためにDockerコンテナを起動します。

3. 3

   カスタム設定でファインチューニングスクリプトを実行して、モデルトレーニングを統合します。

4. 4

   専用の推論スクリプトを使用して、下流タスクで推論を実行します。

5. 5

   提供されている評価スクリプトを使用するか、リーダーボードに結果を提出してモデルのパフォーマンスを評価します。

6. 6

   コマンドライン引数またはJSON設定ファイルを通じてトレーニングオプションをカスタマイズします。

UNITER Research Codeの使用例

• Visual Question Answering
• Visual Commonsense Reasoning
• Image-Text Retrieval
• Referring Expression Comprehension
• Visual Entailment
• Multimodal Pre-training

UNITER Research CodeのFAQ

• UNITER研究コードリポジトリとは何ですか？

  UNITER研究コードリポジトリには、ECCV 2020論文「UNITER: UNiversal Image-TExt Representation Learning」の公式実装が含まれており、研究者はマルチモーダルAI研究を再現および拡張できます。

• UNITERはどのようなビジョンと言語のタスクをサポートしていますか？

  UNITERは、NLVR2、VQA、VCR、SNLI-VE、画像-テキスト検索（COCO、Flickr30k）、およびReferring Expressions（RefCOCO、RefCOCO+、RefCOCO-g）などのタスクをサポートしています。

• 事前学習済みのUNITERモデルは利用可能ですか？

  はい、UNITER-baseとUNITER-largeの両方の事前学習済みチェックポイントがリリースされており、提供されているスクリプトを使用してダウンロードできます。

• UNITERの環境をセットアップするにはどうすればよいですか？

  再現性を容易にするためにDockerイメージが提供されています。ユーザーはNVIDIAドライバーとDockerをインストールし、データとソースディレクトリをマウントしたコンテナを起動する必要があります。

• UNITERは複数のGPUでトレーニングできますか？

  はい、リポジトリは主にHorovodの使用を通じてマルチGPUトレーニングをサポートしています。

• Dockerイメージを実行するための要件は何ですか？

  Dockerイメージには、NVIDIAドライバー（418以降）、Docker（19.03以降）、およびnvidia-container-toolkitが必要です。NVIDIA GPUを搭載したLinuxがサポートされており、混合精度トレーニングにはTensor Coreを搭載したGPUが推奨されます。

• 画像特徴量の抽出はどのように処理されますか？

  画像特徴量はBUTD（bottom-up-attention）メソッドを使用して抽出され、前処理のためのスクリプトが提供されています。

• UNITERコードはどのようなライセンスでリリースされていますか？

  UNITER研究コードはMITライセンスの下でリリースされています。

• 独自のデータでUNITERをファインチューニングできますか？

  リポジトリは、さまざまな下流タスクでのファインチューニングのためのスクリプトと設定を提供しており、カスタムファインチューニングがサポートされていることを示唆しています。

• UNITERモデルの主要なコンポーネントは何ですか？

  UNITERは、マルチモーダル理解のためのトランスフォーマーアーキテクチャを活用した、ユニバーサルな画像-テキスト表現学習フレームワークに基づいています。