Expansion et rétrécissement de la localisation pour la segmentation sémantique faiblement supervisée

Générer des pseudo-vérités de terre précises et conscientes de la classe, également appelées cartes d'activation de classe (CAM), est essentiel pour la segmentation sémantique faiblement supervisée. La méthode CAM originale produit généralement des cartes de localisation incomplètes et inexactes. Pour résoudre ce problème, cet article propose un schéma d'Expansion et de Rétrécissement basé sur l'apprentissage de décalage dans la convolution déformable, pour améliorer séquentiellement le rappel et la précision de l'objet localisé dans les deux étapes respectives. Dans la phase d'Expansion, une branche d'apprentissage de décalage dans une couche de convolution déformable, appelée "échantillonneur d'expansion", cherche à échantillonner des régions d'objets de moins en moins discriminatives, guidée par un signal de supervision inverse qui maximise la perte de classification au niveau de l'image. L'objet localisé plus complet dans la phase d'Expansion est ensuite progressivement restreint à la région finale de l'objet durant la phase de Rétrécissement. Dans la phase de Rétrécissement, la branche d'apprentissage de décalage d'une autre couche de convolution déformable, appelée "échantillonneur de rétrécissement", est introduite pour exclure les régions de fond de faux positifs présentes dans la phase d'Expansion afin d'améliorer la précision des cartes de localisation. Nous avons réalisé diverses expériences sur PASCAL VOC 2012 et MS COCO 2014 pour démontrer la supériorité de notre méthode par rapport à d'autres méthodes de pointe pour la segmentation sémantique faiblement supervisée. Le code sera rendu publiquement disponible ici https://github.com/TyroneLi/ESOLWSSS.