Exploration de prototypes spécifiques à l'image en auto-supervision pour la segmentation sémantique faiblement supervisée

La segmentation sémantique faiblement supervisée (WSSS) basée sur des étiquettes au niveau de l'image a suscité beaucoup d'attention en raison des faibles coûts d'annotation. Les méthodes existantes s'appuient souvent sur la Cartographie d'Activation de Classe (CAM) qui mesure la corrélation entre les pixels d'image et le poids du classificateur. Cependant, le classificateur se concentre uniquement sur les régions discriminantes tout en ignorant d'autres informations utiles dans chaque image, ce qui entraîne des cartes de localisation incomplètes. Pour remédier à ce problème, nous proposons une Exploration de Prototype Spécifique à l'Image en Auto-supervision (SIPE) qui consiste en une Exploration de Prototype Spécifique à l'Image (IPE) et une perte de Cohérence Générale-Spécifique (GSC). Plus précisément, l'IPE adapte des prototypes pour chaque image afin de capturer des régions complètes, formant notre CAM Spécifique à l'Image (IS-CAM), qui est réalisé par deux étapes séquentielles. De plus, la GSC est proposée pour construire la cohérence du CAM général et notre IS-CAM spécifique, ce qui optimise davantage la représentation des caractéristiques et renforce la capacité d'auto-correction de l'exploration de prototypes. D'importantes expériences sont menées sur les références de segmentation PASCAL VOC 2012 et MS COCO 2014 et les résultats montrent que notre SIPE atteint de nouvelles performances de pointe en utilisant uniquement des étiquettes au niveau de l'image. Le code est disponible sur https://github.com/chenqi1126/SIPE.