Este artigo apresenta o BIR-Adapter, um adaptador de restauração de imagem cega de baixa complexidade para modelos de difusão. O BIR-Adapter permite a utilização do conhecimento prévio de modelos de difusão de larga escala pré-treinados na restauração de imagens cegas sem treinar nenhum extrator de características auxiliar. Aproveitamos a robustez dos modelos pré-treinados. Extraímos características de imagens degradadas através do próprio modelo e estendemos o mecanismo de autoatenção com essas características degradadas. Introduzimos um mecanismo de orientação de amostragem para reduzir alucinações. Realizamos experimentos em degradações sintéticas e do mundo real, demonstrando que o BIR-Adapter atinge desempenho competitivo ou melhor em comparação com métodos de ponta, enquanto possui uma complexidade significativamente menor. Além disso, seu design baseado em adaptador permite a integração em outros modelos de difusão, possibilitando aplicações mais amplas em tarefas de restauração de imagens. Demonstramos isso ao estender um modelo apenas de super-resolução para ter um desempenho melhor sob degradações adicionais e desconhecidas.
Eteke et al. (Mon,) estudaram essa questão.