설명
ECCV 2020 논문 'UNITER: UNiversal Image-TExt Representation Learning'에 소개된 UNITER 연구 코드 저장소는 멀티모달 AI 연구를 위한 포괄적인 도구 세트를 제공합니다. 이 저장소는 Visual Question Answering (VQA), Visual Commonsense Reasoning (VCR), SNLI-VE (Visual Entailment), COCO 및 Flickr30k와 같은 데이터셋에 대한 이미지-텍스트 검색, 그리고 Referring Expression Comprehensions (RefCOCO, RefCOCO+, RefCOCO-g)를 포함한 다양한 비전-언어 작업에 대한 파인튜닝 및 추론을 지원합니다.
더 읽기
UNITER는 범용 이미지-텍스트 표현 학습 프레임워크를 기반으로 구축되었습니다. 이 코드는 UNITER-base 및 UNITER-large 사전 학습된 체크포인트 모두를 지원하며, 도메인 내 사전 학습 옵션도 제공합니다. 저장소에는 데이터 전처리, 모델 학습 및 추론을 위한 스크립트가 포함되어 있습니다. PyTorch, HuggingFace Transformers, OpenNMT, Nvidia의 DeepLearningExamples와 같은 외부 라이브러리를 활용하며, 이미지 특징은 BUTD를 사용하여 추출됩니다.
재현성을 높이기 위해 Docker 이미지가 제공되며, 특정 NVIDIA 드라이버 및 Docker 버전이 필요합니다. 설정에는 소스 코드 및 데이터 디렉토리를 컨테이너로 마운트하는 작업이 포함됩니다. 저장소는 NLVR2와 같은 작업에 대한 빠른 시작 가이드를 상세히 설명하며, 데이터 다운로드, Docker 컨테이너 실행, 파인튜닝 및 추론/평가 절차를 보여줍니다. 사용자 정의는 명령줄 인수 및 JSON 구성 파일을 통해 지원되며, Horovod를 사용한 다중 GPU 학습 옵션도 제공됩니다.
이 프로젝트는 VQA, VCR (2단계 사전 학습 옵션 포함), Visual Entailment, Image-Text Retrieval (Flickr30k 및 COCO에 대한 제로샷 및 하드 네거티브를 사용한 파인튜닝 포함), Referring Expressions, 도메인 내 사전 학습과 같은 다운스트림 작업에 대한 단계도 설명합니다. 사용자는 특정 데이터셋을 다운로드하고 해당 학습 및 추론 스크립트를 실행하는 방법에 대한 안내를 받습니다. 저장소는 MIT 라이선스 하에 배포됩니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼Linux
UNITER의 핵심 기능
ECCV 2020 논문 'UNITER: UNiversal Image-TExt Representation Learning'의 공식 연구 코드
NLVR2, VQA, VCR, SNLI-VE, 이미지-텍스트 검색 및 Referring Expressions에 대한 파인튜닝 지원
UNITER-base 및 UNITER-large 모델에 대한 사전 학습된 체크포인트 제공
데이터 전처리, 모델 학습 및 추론을 위한 스크립트 포함
간소화된 재현 및 환경 설정을 위한 Docker 이미지 제공
Horovod를 통한 다중 GPU 학습 지원
이미지-텍스트 검색 작업에 대한 제로샷 및 파인튜닝 코드 포함
도메인 내 사전 학습 및 VCR 2단계 사전 학습 지원
UNITER 시작하기
제공된 bash 스크립트를 사용하여 사전 학습된 체크포인트 및 작업별 데이터 다운로드
일관되고 재현 가능한 환경을 위해 Docker 컨테이너 실행
사용자 정의 구성을 사용하여 파인튜닝 스크립트 실행으로 모델 학습 통합
전용 추론 스크립트를 사용하여 다운스트림 작업에 대한 추론 수행
제공된 평가 스크립트를 사용하거나 리더보드에 결과 제출하여 모델 성능 평가
명령줄 인수 또는 JSON 구성 파일을 통해 학습 옵션 사용자 정의
UNITER의 사용 사례
- Visual Question Answering
- Visual Commonsense Reasoning
- Image-Text Retrieval
- Referring Expression Comprehension
- Visual Entailment
- Multimodal Pre-training
