RIDCP: Revitalizando a Desembaçamento de Imagens Reais via Priors de Código de Alta Qualidade

As abordagens existentes de desembaçamento têm dificuldades em processar imagens embaçadas do mundo real devido à falta de dados reais pareados e priors robustos. Neste trabalho, apresentamos um novo paradigma para o desembaçamento de imagens reais sob a perspectiva de sintetizar dados embaçados mais realistas e introduzir priors mais robustos na rede. Especificamente, (1) em vez de adotar o modelo de dispersão física, repensamos a degradação das imagens embaçadas reais e propomos um pipeline fenomenológico considerando diversos tipos de degradação. (2) Propomos uma rede de Desembaçamento de Imagens Reais via Priors de Código de Alta Qualidade (RIDCP). Primeiro, um VQGAN é pré-treinado em um conjunto de dados de alta qualidade em larga escala para obter o código discreto, encapsulando priors de alta qualidade (HQPs). Após substituir os efeitos negativos trazidos pela neblina por HQPs, o decodificador equipado com um novo módulo de alinhamento de características normalizado pode utilizar efetivamente características de alta qualidade e produzir resultados limpos. No entanto, embora nosso pipeline de degradação mitigue drasticamente a lacuna de domínio entre dados sintéticos e reais, ainda é intransponível evitá-la, o que desafia a correspondência de HQPs no mundo real. Assim, recalculamos a distância ao combinar as características com os HQPs por meio de uma operação de correspondência controlável, que facilita a busca por melhores contrapartes. Oferecemos uma recomendação para controlar a correspondência com base em uma solução explicável. Os usuários também podem ajustar flexivelmente o grau de aprimoramento conforme sua preferência. Experimentações extensivas verificam a eficácia do nosso pipeline de síntese de dados e o desempenho superior do RIDCP no desembaçamento de imagens reais. O código e os dados são disponibilizados em https://rqwu.github.io/projects/RIDCP.