Restauração de Imagens Fotorrealistas em Ambientes Naturais com Modelos de Visão-Linguagem Controlados

Embora os modelos de difusão tenham sido aplicados com sucesso a várias tarefas de restauração de imagem (IR), seu desempenho é sensível à escolha dos conjuntos de dados de treinamento. Tipicamente, modelos de difusão treinados em conjuntos de dados específicos falham em recuperar imagens que possuem degradações fora da distribuição. Para abordar esse problema, este trabalho utiliza um modelo de visão-linguagem competente e uma pipeline de degradação sintética para aprender a restauração de imagem em ambientes naturais (wild IR). Mais especificamente, todas as imagens de baixa qualidade são simuladas com uma pipeline de degradação sintética que contém múltiplas degradações comuns, como desfoque, redimensionamento, ruído e compressão JPEG. Em seguida, introduzimos um treinamento robusto para um modelo CLIP sensível à degradação, a fim de extrair características enriquecidas do conteúdo da imagem para auxiliar na restauração de imagem de alta qualidade. Nosso modelo de difusão base é o SDE de restauração de imagem (IR-SDE). Com base nisso, apresentamos uma estratégia de amostragem posterior para geração rápida de imagens sem ruído. Avaliamos nosso modelo em conjuntos de dados de degradação sintética e de mundo real. Além disso, experimentos na tarefa unificada de restauração de imagem ilustram que a amostragem posterior proposta melhora a qualidade da geração de imagens para várias degradações.