ALIKE: Detecção de Pontos Chave e Extração de Descritores Precisos e Leves

Métodos existentes detectam os pontos chave de uma maneira não diferenciável, portanto, não podem otimizar diretamente a posição dos pontos chave através de retropropagação. Para resolver esse problema, apresentamos um módulo de detecção de pontos chave parcialmente diferenciável, que produz pontos chave sub-pixel precisos. A perda de reprojeção é então proposta para otimizar diretamente esses pontos chave sub-pixel, e a perda de pico de dispersão é apresentada para regularização precisa dos pontos chave. Também extraímos os descritores de uma maneira sub-pixel, e eles são treinados com a perda de erro de reprojeção neural estável. Além disso, uma rede leve é projetada para detecção de pontos chave e extração de descritores, que pode operar a 95 quadros por segundo para imagens de 640x480 em uma GPU comercial. Em tarefas de estimativa de homografia, estimativa de pose da câmera e (re)localização visual, o método proposto alcança desempenho equivalente aos abordagens estado da arte, enquanto reduz significativamente o tempo de inferência.