Participar e Imaginar: Classificação de Imagens Multirótulo com Atenção Visual e Redes Neurais Recorrentes

Imagens reais frequentemente têm múltiplos rótulos, ou seja, cada imagem está associada a múltiplos objetos ou atributos. Comparado à classificação de imagem com rótulo único, o problema de classificação multirótulo é muito mais desafiador devido a várias questões. Primeiro, múltiplos objetos podem estar em qualquer lugar da imagem. Em segundo lugar, a importância de diferentes regiões em uma imagem é diferente, e as regiões de interesse em uma imagem multirótulo podem ser muito diferentes de outra. Por fim, múltiplos rótulos de uma imagem podem ter dependências de rótulo devido a estruturas de imagem complexas. Para abordar esses desafios, neste trabalho, propomos prever os rótulos sequencialmente aplicando redes neurais recorrentes (RNNs), que são usadas para codificar as dependências dos rótulos. Ao prever um rótulo específico, introduzimos um mecanismo de atenção dinâmica para permitir que o modelo se concentre apenas nas regiões de interesse na imagem. Dois conjuntos de dados padrão (ou seja, Pascal VOC e MS-COCO) são adotados para demonstrar a eficácia do nosso trabalho. Além disso, construímos um novo conjunto de dados, que inclui muitos rótulos dependentes semânticos em cada imagem, para verificar a eficácia do nosso modelo. Resultados experimentais mostram que nosso método supera vários estados da arte, especialmente ao prever alguns rótulos relativos semânticos.