Segmentation sémantique faiblement supervisée via un apprentissage contrastif à dual-stream des informations contextuelles inter-images

La segmentation sémantique faiblement supervisée (WSSS) vise à apprendre un modèle de segmentation sémantique avec uniquement des étiquettes au niveau de l'image. Malgré des recherches intensives sur les approches d'apprentissage profond pendant plus d'une décennie, il existe toujours un écart de performance significatif entre WSSS et la segmentation sémantique complète. La plupart des méthodes WSSS actuelles se concentrent toujours sur une information limitée d'une seule image (au niveau des pixels) tout en ignorant les informations inter-images précieuses (au niveau sémantique). Dans cette perspective, un nouveau cadre WSSS de bout en bout appelé DSCNet est développé avec deux innovations : i) un contraste de groupe au niveau des pixels et un contraste de graphe au niveau sémantique sont proposés et introduits dans le cadre WSSS ; ii) un nouveau mécanisme d'apprentissage contrastif à dual-stream (DSCL) est conçu pour traiter conjointement les informations contextuelles au niveau des pixels et au niveau sémantique pour une meilleure performance WSSS. Spécifiquement, l'apprentissage de contraste de groupe au niveau des pixels (PGCL) et les tâches d'apprentissage de contraste de graphe au niveau sémantique (SGCL) forment une solution plus complète. D'importantes expériences sur les benchmarks PASCAL VOC et MS COCO vérifient la supériorité de DSCNet par rapport aux approches de l'état de l'art et aux modèles de base.