ERNIE-ViLG: 양방향 시각-언어 생성을 위한 통합 생성적 사전 학습

전통적인 이미지-텍스트 생성 방법은 주로 자연적으로 양방향 생성 작업을 개별적으로 다루며, 생성된 샘플의 품질과 충실도를 향상시키기 위해 작업별 프레임워크 설계에 집중합니다. 최근 비전-언어 사전 학습 모델은 이미지-텍스트 생성 작업의 성능을 크게 향상시켰지만, 텍스트-이미지 합성을 위한 대규모 사전 학습 모델은 여전히 개발이 미비합니다. 이 논문에서는 변환기 모델을 사용하여 양방향 이미지-텍스트 생성을 위한 통합 생성적 사전 학습 프레임워크인 ERNIE-ViLG를 제안합니다. 이미지 양자화 모델을 기반으로, 우리는 이미지 생성과 텍스트 생성을 모두 텍스트/이미지 입력에 조건부인 자기 회귀 생성 작업으로 형식화합니다. 양방향 이미지-텍스트 생성 모델링은 시각과 언어 간의 의미적 정렬을 용이하게 합니다. 텍스트-이미지 생성 과정에서는 시각적 시퀀스 생성기와 이미지 재구성기를 공동으로 학습하기 위한 엔드 투 엔드 훈련 방법을 추가로 제안합니다. 양방향 텍스트-이미지 생성을 위한 대규모 사전 학습의 풍경을 탐색하기 위해, 우리는 1억 4500만 (중국어) 이미지-텍스트 쌍의 대규모 데이터셋에서 100억 매개변수의 ERNIE-ViLG 모델을 훈련시키며, 텍스트-이미지 및 이미지-텍스트 작업 모두에서 최첨단 성능을 달성하고, 텍스트-이미지 합성을 위해 MS-COCO에서 7.9의 FID를 달성하며, 이미지 캡셔닝을 위해 COCO-CN 및 AIC-ICC에서 최고 성적을 기록했습니다.