Redes Neurais Não Locais Assimétricas para Segmentação Semântica

O módulo não local funciona como uma técnica particularmente útil para segmentação semântica, embora seja criticado por seu custo computacional proibitivo e ocupação de memória GPU. Neste artigo, apresentamos a Rede Neural Não Local Assimétrica para segmentação semântica, que possui dois componentes proeminentes: Bloco Não Local Assimétrico em Pirâmide (APNB) e Bloco Não Local de Fusão Assimétrica (AFNB). APNB aproveita um módulo de amostragem em pirâmide dentro do bloco não local para reduzir significativamente o consumo de computação e memória sem sacrificar o desempenho. AFNB é adaptado do APNB para fundir as características de diferentes níveis, levando em consideração adequadamente as dependências de longo alcance e, assim, melhora consideravelmente o desempenho. Experimentos extensivos em benchmarks de segmentação semântica demonstram a eficácia e eficiência do nosso trabalho. Em particular, relatamos um desempenho de ponta de 81,3 mIoU no conjunto de teste Cityscapes. Para uma entrada de 256x128, o APNB é cerca de 6 vezes mais rápido do que um bloco não local em GPU e 28 vezes menor em ocupação de memória ao rodar em GPU. O código está disponível em: https://github.com/MendelXu/ANN.git.