领域自适应语义分割出现在视觉-语言监督的去偏移自训练中

无监督领域自适应语义分割利用合成数据训练分割模型，并将其转移到未标记的真实图像上。由于风格差异，转移的模型受到领域间差距的影响。更糟糕的是，一些类别表现出极端的领域差距，其中特征分布在两个领域之间发生完全的转变。为了解决这个问题，我们提出了一种与CLIP结合的去偏移自训练策略，以提炼其领域无关的知识。具体来说，我们强制确保来自我们的分割模型的特征图和CLIP的图像编码器之间的一致性。同时，来自文本编码器的每个类别的文本嵌入作为一种领域无关的分类器，支持去偏移特征学习条件。在标准的无监督领域自适应设置下的实验结果表明，我们提出的策略在基于不同主干网络和不同大型预训练模型的情况下，一直能够提高UDA分割性能。