Segmentação semântica fracamente supervisionada por meio da mineração iterativa de características comuns de objetos

A segmentação semântica fracamente supervisionada sob a supervisão de tags de imagem é uma tarefa desafiadora, pois associa diretamente a semântica de alto nível à aparência de baixo nível. Para superar essa lacuna, neste artigo, propomos uma estrutura iterativa de baixo para cima e de cima para baixo que expande alternativamente as regiões dos objetos e otimiza a rede de segmentação. Começamos pela localização inicial produzida por redes de classificação. Embora as redes de classificação sejam responsivas apenas a regiões discriminativas pequenas e grosseiras dos objetos, argumentamos que essas regiões contêm características comuns significativas sobre os objetos. Assim, no passo de baixo para cima, extraímos características comuns dos objetos a partir da localização inicial e expandimos as regiões dos objetos com essas características extraídas. Para complementar regiões não discriminativas, mapas de saliência são considerados em um framework bayesiano para refinar as regiões dos objetos. Depois, no passo de cima para baixo, as regiões refinadas dos objetos são usadas como supervisão para treinar a rede de segmentação e para prever as máscaras dos objetos. Essas máscaras de objetos fornecem uma localização mais precisa e contêm mais regiões do objeto. Além disso, utilizamos essas máscaras de objetos como localização inicial e extraímos características comuns dos objetos a partir delas. Esses processos são realizados iterativamente para produzir progressivamente máscaras de objetos finas e otimizar as redes de segmentação. Os resultados experimentais no conjunto de dados Pascal VOC 2012 demonstram que o método proposto supera métodos anteriores de estado da arte por uma ampla margem.