Treinamento Híbrido Profundo Real e Sintético para Decomposição Intrínseca

A decomposição de imagem intrínseca é o processo de separação das camadas de refletância e sombreamento de uma imagem, que é um problema desafiador e subdeterminado. Neste artigo, propomos abordar sistematicamente esse problema usando uma rede neural convolucional profunda (CNN). Embora o aprendizado profundo (DL) tenha sido recentemente utilizado para lidar com essa aplicação, os métodos DL atuais treinam a rede apenas em imagens sintéticas, pois obter a refletância e o sombreamento de verdade para imagens reais é difícil. Portanto, esses métodos falham em produzir resultados razoáveis em imagens reais e geralmente têm desempenho pior do que as técnicas não-DL. Superamos essa limitação propondo uma nova abordagem híbrida para treinar nossa rede em imagens sintéticas e reais. Especificamente, além de supervisionar diretamente a rede usando imagens sintéticas, treinamos a rede impondo que ela produza a mesma refletância para um par de imagens da mesma cena do mundo real com diferentes iluminações. Além disso, melhoramos os resultados incorporando uma camada de solucionador bilateral em nosso sistema durante as etapas de treinamento e teste. Os resultados experimentais mostram que nossa abordagem produz melhores resultados do que os métodos DL e não-DL de ponta em vários conjuntos de dados sintéticos e reais, tanto visualmente quanto numericamente.