Mineração de Objetos em Regiões Não Salientes para Segmentação Semântica Fraca Supervisionada

A segmentação semântica tem como objetivo classificar cada pixel de uma imagem de entrada. Considerando a dificuldade de adquirir rótulos densos, os pesquisadores têm recorrido recentemente a rótulos fracos para aliviar a carga de anotação da segmentação. No entanto, os trabalhos existentes concentram-se principalmente na expansão da semente de rótulos em pseudo dentro da região saliente da imagem. Neste trabalho, propomos uma abordagem de mineração de objetos em regiões não salientes para segmentação semântica fraca supervisionada. Introduzimos uma unidade de raciocínio global baseada em gráficos para fortalecer a capacidade da rede de classificação em capturar relações globais entre regiões disjuntas e distantes. Isso ajuda a rede a ativar os recursos dos objetos fora da área saliente. Para explorar ainda mais os objetos em regiões não salientes, propomos exercer a habilidade de autocorreção da rede de segmentação. Especificamente, um módulo de mineração de objetos potenciais é proposto para reduzir a taxa de falsos negativos em rótulos pseudo. Além disso, propomos um módulo de mascaramento de região não saliente para imagens complexas para gerar rótulos pseudo mascarados. Nosso módulo de mascaramento de região não saliente ajuda a descobrir ainda mais os objetos na região não saliente. Experimentos extensivos no conjunto de dados PASCAL VOC demonstram resultados de ponta em comparação com métodos atuais. Os códigos-fonte estão disponíveis em https://github.com/NUST-Machine-Intelligence-Laboratory/nsrom.