Segmentation sémantique via prédiction de patch structuré, CRF de contexte et CRF de guidage

Cet article décrit une approche rapide et précise de segmentation sémantique d'images qui encode non seulement des caractéristiques spécifiées par la segmentation, mais aussi des compatibilités de contexte d'ordre supérieur et des contraintes de guidage de bord. Nous introduisons une technique de prédiction de patch structuré pour faire un compromis entre la discriminabilité de classification et la sensibilité des bords pour les caractéristiques. Les contextes d'étiquette et de caractéristiques sont intégrés pour garantir la précision de reconnaissance et la compatibilité, tandis que la complexité des cliques d'ordre supérieur est réduite par une stratégie d'échantillonnage et de pooling consciente de la distance. Le modèle conjoint proposé utilise également un CRF de guidage pour améliorer encore la performance de segmentation. L'étape de passage de message est augmentée avec le filtrage guidé, ce qui permet une formation efficace et conjointe de l'ensemble du système de manière end-to-end. Notre modèle conjoint proposé surpasse l'état de l'art sur Pascal VOC 2012 et Cityscapes, avec un mIoU(%) de 82,5 et 79,2 respectivement. Il atteint également une performance de pointe sur ADE20K, qui est le jeu de données de la piste de parsing de scène dans l'ILSVRC 2016. Le code est disponible sur https://github.com/FalongShen/SegModel.