UNITER Research Code

Beschreibung

Das UNITER-Repository für Forschungscode, vorgestellt in der ECCV 2020-Arbeit 'UNITER: UNiversal Image-TExt Representation Learning', bietet einen umfassenden Satz von Werkzeugen für die multimodale KI-Forschung. Dieses Repository erleichtert das Finetuning und die Inferenz für eine Reihe von Vision-and-Language-Aufgaben, einschließlich Visual Question Answering (VQA), Visual Commonsense Reasoning (VCR), SNLI-VE (Visual Entailment), Image-Text Retrieval für Datensätze wie COCO und Flickr30k sowie Referring Expression Comprehensions (RefCOCO, RefCOCO+, RefCOCO-g).

UNITER basiert auf einem universellen Framework für das Lernen von Bild-Text-Repräsentationen. Der Code unterstützt sowohl vortrainierte Checkpoints für UNITER-base als auch für UNITER-large, mit Optionen für das In-Domain-Pre-Training. Das Repository enthält Skripte für die Datenvorverarbeitung, das Modelltraining und die Inferenz. Es nutzt externe Bibliotheken wie PyTorch, HuggingFace Transformers, OpenNMT und Nvidia's DeepLearningExamples, wobei Bildmerkmale mit BUTD extrahiert werden.

Zur Vereinfachung der Reproduzierbarkeit wird ein Docker-Image bereitgestellt, das spezifische NVIDIA-Treiber- und Docker-Versionen erfordert. Die Einrichtung umfasst das Mounten von Quellcode- und Datenverzeichnissen in den Container. Das Repository beschreibt Schnellstartanleitungen für Aufgaben wie NLVR2, die den Download von Daten, den Start des Docker-Containers, das Finetuning sowie Inferenz-/Evaluierungsverfahren demonstrieren. Die Anpassung wird über Befehlszeilenargumente und JSON-Konfigurationsdateien unterstützt, mit Optionen für das Multi-GPU-Training mit Horovod.

Das Projekt beschreibt auch Schritte für nachgelagerte Aufgaben wie VQA, VCR (einschließlich einer Option für ein zweistufiges Pre-Training), Visual Entailment, Image-Text Retrieval (sowohl Zero-Shot als auch Finetuning mit Hard Negatives für Flickr30k und COCO), Referring Expressions und In-Domain-Pre-Training. Benutzer werden beim Herunterladen spezifischer Datensätze und beim Ausführen der entsprechenden Trainings- und Inferenzskripte angeleitet. Das Repository ist unter der MIT-Lizenz lizenziert.

UNITER Research Code im Überblick

• Offizieller Forschungscode für die ECCV 2020-Arbeit 'UNITER: UNiversal Image-TExt Representation Learning'

• Unterstützt Finetuning für NLVR2, VQA, VCR, SNLI-VE, Image-Text Retrieval und Referring Expressions

• Bietet vortrainierte Checkpoints für UNITER-base und UNITER-large Modelle

• Enthält Skripte für Datenvorverarbeitung, Modelltraining und Inferenz

• Bietet ein Docker-Image für vereinfachte Reproduktion und Umgebungssetup

• Unterstützt Multi-GPU-Training über Horovod

• Enthält Code für Zero-Shot- und Finetuning von Image-Text Retrieval-Aufgaben

• Ermöglicht In-Domain-Pre-Training und zweistufiges Pre-Training für VCR

Erste Schritte mit UNITER Research Code

1. 1

   Laden Sie vortrainierte Checkpoints und aufgaben-spezifische Daten mit den bereitgestellten Bash-Skripten herunter.

2. 2

   Starten Sie den Docker-Container für eine konsistente und reproduzierbare Umgebung.

3. 3

   Integrieren Sie das Modelltraining, indem Sie Finetuning-Skripte mit benutzerdefinierten Konfigurationen ausführen.

4. 4

   Führen Sie die Inferenz für nachgelagerte Aufgaben mit dedizierten Inferenzskripten durch.

5. 5

   Bewerten Sie die Modellleistung mit den bereitgestellten Evaluationsskripten oder durch Einreichung von Ergebnissen auf Leaderboards.

6. 6

   Passen Sie Trainingsoptionen über Befehlszeilenargumente oder JSON-Konfigurationsdateien an.

UNITER Research Code's Anwendungsfälle

• Visuelle Beantwortung von Fragen
• Visuelles Common-Sense-Reasoning
• Bild-Text-Retrieval
• Referring Expression Comprehension
• Visuelles Entailment
• Multimodales Pre-Training

FAQ von UNITER Research Code

• Was ist das UNITER-Repository für Forschungscode?

  Das UNITER-Repository für Forschungscode enthält die offizielle Implementierung für die ECCV 2020-Arbeit 'UNITER: UNiversal Image-TExt Representation Learning', die es Forschern ermöglicht, multimodale KI-Forschung zu reproduzieren und zu erweitern.

• Welche Vision-and-Language-Aufgaben unterstützt UNITER?

  UNITER unterstützt Aufgaben wie NLVR2, VQA, VCR, SNLI-VE, Image-Text Retrieval (COCO, Flickr30k) und Referring Expressions (RefCOCO, RefCOCO+, RefCOCO-g).

• Sind vortrainierte UNITER-Modelle verfügbar?

  Ja, sowohl UNITER-base als auch UNITER-large vortrainierte Checkpoints werden veröffentlicht und können mit den bereitgestellten Skripten heruntergeladen werden.

• Wie richte ich die Umgebung für UNITER ein?

  Ein Docker-Image wird zur einfacheren Reproduktion bereitgestellt. Benutzer müssen NVIDIA-Treiber und Docker installieren und dann den Container mit gemounteten Daten- und Quellverzeichnissen starten.

• Kann UNITER auf mehreren GPUs trainiert werden?

  Ja, das Repository unterstützt Multi-GPU-Training, hauptsächlich über die Verwendung von Horovod.

• Was sind die Anforderungen für die Ausführung des Docker-Images?

  Das Docker-Image erfordert NVIDIA-Treiber (418+), Docker (19.03+) und nvidia-container-toolkit. Linux mit NVIDIA-GPUs wird unterstützt, und GPUs mit Tensor Cores werden für das Mixed-Precision-Training empfohlen.

• Wie wird die Extraktion von Bildmerkmalen gehandhabt?

  Bildmerkmale werden mit der BUTD (bottom-up-attention)-Methode extrahiert, wobei Skripte für die Vorverarbeitung bereitgestellt werden.

• Unter welcher Lizenz wird der UNITER-Code veröffentlicht?

  Der UNITER-Forschungscode wird unter der MIT-Lizenz veröffentlicht.

• Kann ich UNITER auf meinen eigenen Daten finetunen?

  Das Repository stellt Skripte und Konfigurationen für das Finetuning auf verschiedenen nachgelagerten Aufgaben bereit, was darauf hindeutet, dass benutzerdefiniertes Finetuning unterstützt wird.

• Was sind die Schlüsselkomponenten des UNITER-Modells?

  UNITER basiert auf einem universellen Framework für das Lernen von Bild-Text-Repräsentationen und nutzt Transformer-Architekturen für multimodales Verständnis.