Raciocínio de Recursos Recorrentes para Inpainting de Imagens

Métodos de inpainting existentes alcançaram um desempenho promissor na recuperação de defeitos regulares ou pequenos em imagens. No entanto, preencher grandes buracos contínuos continua a ser difícil devido à falta de restrições para o centro do buraco. Neste artigo, concebemos uma rede de Raciocínio de Recursos Recorrentes (RFR), que é construída principalmente por um módulo de Raciocínio de Recursos Recorrentes plug-and-play e um módulo de Atenção Consistente ao Conhecimento (KCA). Análogo a como os humanos resolvem quebra-cabeças (ou seja, primeiro resolvem as partes mais fáceis e depois usam os resultados como informações adicionais para resolver partes difíceis), o módulo RFR infere recursivamente as bordas do buraco dos mapas de características convolucionais e depois as usa como pistas para inferências adicionais. O módulo fortalece progressivamente as restrições para o centro do buraco e os resultados se tornam explícitos. Para capturar informações de locais distantes no mapa de características para o RFR, desenvolvemos ainda mais o KCA e o incorporamos no RFR. Empiricamente, primeiro comparamos o RFR-Net proposto com estruturas existentes, demonstrando que o RFR-Net é mais eficiente (por exemplo, uma melhoria de 4% no SSIM para o mesmo tamanho de modelo). Em seguida, colocamos a rede no contexto do estado-da-arte atual, onde apresenta desempenho aprimorado. O código-fonte correspondente está disponível em: https://github.com/jingyuanli001/RFR-Inpainting.