学习 "不" 更好地说 "是": 通过否定改善视觉语言模型

现有的视觉语言模型（VLMs）将文本描述视为一个单位，混淆了提示中的单个概念，并削弱了视觉语义匹配和推理。逻辑和语言推理的一个重要方面是否定。本文强调了流行的VLMs（如CLIP）在理解否定的含义方面的局限性，即在给定提示中 "不 " 这个词的影响。为了能够评估VLMs在带有否定的流利提示上的表现，我们提出了CC-Neg，这是一个包含228,246张图像、真实标题及其对应否定标题的数据集。结合对CLIP对比损失的修改，我们提出的CoN-CLIP框架对否定有了更好的理解。这种训练范式提高了CoN-CLIP可靠编码语义的能力，在8个数据集上实现了3.85%的零样本图像分类的top-1准确率提高。此外，CoN-CLIP在具有挑战性的组合性基准（如SugarCREPE）上，比CLIP提高了4.4%，展示了对文本中对象、关系和属性的突现组合理解。总体而言，我们的工作通过引入一个数据集和框架，强化图像与文本之间的语义关联，解决了VLMs的一个关键局限性，展示了显著降低计算成本的改进的大规模基础模型，提高了效率和可及性。