多级上下文原型调制用于组合零样本学习

组合零样本学习（CZSL）旨在利用已知原型的先验知识来识别看不见的属性-物体组合。然而，现实世界中属性和物体的视觉特征通常交织在一起，导致可见和不可见组合之间的分布转变。现有方法通常忽略原型之间的内在变化和相互作用，导致特征区分力差和预测偏差。为了解决这些挑战，我们提出了多级上下文原型调制（MCPM），这是一种基于变换器的框架，具有分层结构，可以有效整合属性和物体，从而生成更丰富的视觉嵌入。在特征层面，我们应用对比学习，改善组合任务中的可区分性。在原型层面，子类驱动的调制器捕捉细微的属性-物体交互，能够更好地适应长尾分布。此外，我们引入了一种少数属性增强（MAE）策略，通过混合属性类别合成虚拟样本，进一步减轻数据不平衡。对四个基准数据集（MIT-States，C-GQA，UT-Zappos和VAW-CZSL）的实验表明，MCPM显著提高了性能，验证了其在复杂组合场景中的有效性.