现有图匹配方法的成功在很大程度上依赖于高质量的训练数据,这些数据需要在不同图之间的关键点之间有完整且精确的对应关系。然而,这一假设在现实世界场景中常常被违反,导致部分对应和噪声对应的挑战。简而言之,部分对应源于视角遮挡,某些关键点(即异常值)在目标图中缺乏有效的对应关系,而噪声对应则是由于标注错误而导致的错误建立的(即假阳性)和忽略的(即假阴性)对应关系。在本文中,我们提出了第一个统一框架,以解决图匹配中的部分和噪声对应挑战。具体而言,我们引入了一个双专家合作框架,通过一个对齐-融合-精炼的管道整合了Koopmans-Beckmann和Lawler的二次分配编程公式(KB-QAP和L-QAP)。在对齐阶段,KB-QAP专家使用新颖的二次对比损失来对齐关键点并区分内点和外点。在融合阶段,L-QAP专家利用图变换器在关联图上合并对齐的图,并结合可学习的外点拒绝机制以处理部分对应。最后,通过利用两个专家的不同抗噪声能力,我们识别并精炼假阳性和假阴性对应,从而增强对噪声对应的鲁棒性。在四个广泛使用的图匹配数据集上进行的大量实验展示了我们的方法在部分和噪声对应场景下对比17个竞争基准的有效性。代码将在接受后在GitHub上公开发布。
Lin等(周四)研究了这个问题。