Redes de Consensus de Vizinhança

Abordamos o problema de encontrar correspondências densas e confiáveis entre um par de imagens. Esta é uma tarefa desafiadora devido às fortes diferenças de aparência entre os elementos da cena correspondentes e às ambiguidades geradas por padrões repetitivos. As contribuições deste trabalho são três. Primeiro, inspirado pela ideia clássica de desambiguação de correspondências de características usando restrições semi-locais, desenvolvemos uma arquitetura de rede neural convolucional treinável de ponta a ponta que identifica conjuntos de correspondências espacialmente consistentes analisando padrões de consenso de vizinhança no espaço 4D de todas as possíveis correspondências entre um par de imagens, sem a necessidade de um modelo geométrico global. Em segundo lugar, demonstramos que o modelo pode ser treinado efetivamente a partir de supervisão fraca na forma de pares de imagens coincidentes e não coincidentes, sem a necessidade de anotações manuais dispendiosas de correspondências ponto a ponto. Por último, mostramos que a rede de consenso de vizinhança proposta pode ser aplicada a uma variedade de tarefas de correspondência, incluindo correspondências de nível de categoria e nível de instância, obtendo resultados de última geração no conjunto de dados PF Pascal e no benchmark de localização visual interna InLoc.