Superresolución de imágenes mediante transferencia de textura neuronal

Debido a la significativa pérdida de información en imágenes de baja resolución (LR), se ha vuelto extremadamente desafiante avanzar aún más en el estado del arte de la superresolución de imágenes individuales (SISR). La superresolución basada en referencia (RefSR), por otro lado, ha demostrado ser prometedora para recuperar detalles de alta resolución (HR) cuando se proporciona una imagen de referencia (Ref) con contenido similar al del input LR. Sin embargo, la calidad de RefSR puede degradarse severamente cuando Ref es menos similar. Este documento tiene como objetivo liberar el potencial de RefSR aprovechando más detalles de textura de imágenes Ref con una robustez más fuerte incluso cuando se proporcionan imágenes Ref irrelevantes. Inspirados en el trabajo reciente sobre estilización de imágenes, formulamos el problema de RefSR como transferencia de textura neuronal. Diseñamos un modelo profundo de extremo a extremo que enriquece los detalles HR al transferir de manera adaptativa la textura de las imágenes Ref según su similitud textural. En lugar de igualar contenido en el espacio de píxeles crudos como lo hacían métodos anteriores, nuestra contribución clave es un emparejamiento a múltiples niveles realizado en el espacio neuronal. Este esquema de emparejamiento facilita la transferencia neuronal a múltiples escalas que permite al modelo beneficiarse más de aquellos parches Ref semánticamente relacionados y degradarse de manera elegante al rendimiento de SISR en las entradas Ref menos relevantes. Construimos un conjunto de datos de referencia para la investigación general de RefSR, que contiene imágenes Ref emparejadas con inputs LR con diferentes niveles de similitud. Tanto las evaluaciones cuantitativas como cualitativas demuestran la superioridad de nuestro método sobre el estado del arte.