V-FLUTE: 텍스트 설명이 포함된 시각적 비유 언어 이해

대형 비전-언어 모델(VLM)은 시각 질문응답이나 시각 함의와 같이 이미지와 텍스트를 세밀하게 이해해야 하는 작업에서 강력한 추론 능력을 보여주었습니다. 그러나 은유나 유머와 같은 비유적 현상이 포함된 이미지와 캡션을 접했을 때 이들 모델의 능력에 대한 탐구는 거의 없었습니다. 이러한 의미는 종종 암시적이기 때문입니다. 이 격차를 해소하기 위해, 우리는 새로운 과제와 고품질 데이터셋인 텍스트 설명이 포함된 시각적 비유 언어 이해(V-FLUTE)를 제안합니다. 우리는 시각적 비유 언어 이해 문제를 설명 가능한 시각 함의 과제로 설정하여, 모델이 이미지(전제)가 주장(가설)을 함의하는지 예측하고, 예측한 라벨을 텍스트 설명으로 정당화해야 합니다. 인간-AI 협업 프레임워크를 활용하여 은유, 직유, 관용구, 빈정거림, 유머 등 다섯 가지 다양한 다중모달 비유적 현상에 걸쳐 총 6,027개의 사례를 포함하는 고품질 데이터셋 V-FLUTE를 구축했습니다. 비유적 현상은 이미지, 캡션, 또는 둘 다에 존재할 수 있습니다. 또한 현재 VLM의 비유적 현상 이해 능력을 평가하기 위해 자동 및 인간 평가를 수행했습니다.