Eliminación de Mal Tiempo Todo en Uno Usando Búsqueda Arquitectónica

Muchos métodos han establecido un rendimiento de vanguardia en la restauración de imágenes degradadas por mal tiempo como lluvia, neblina, niebla y nieve; sin embargo, están diseñados específicamente para manejar un tipo de degradación. En este documento, proponemos un método que puede manejar múltiples degradaciones por mal tiempo: lluvia, niebla, nieve y gotas de lluvia adherentes utilizando una sola red. Para lograr esto, primero diseñamos un generador con múltiples codificadores específicos para tareas, cada uno de los cuales está asociado con un tipo particular de degradación por mal tiempo. Utilizamos una búsqueda de arquitectura neural para procesar óptimamente las características de imagen extraídas de todos los codificadores. Posteriormente, para convertir las características de imagen degradadas en características de fondo limpias, introducimos una serie de operaciones basadas en tensores que encapsulan los principios físicos subyacentes detrás de la formación de lluvia, niebla, nieve y gotas de lluvia adherentes. Estas operaciones sirven como los bloques básicos para nuestra búsqueda arquitectónica. Finalmente, nuestro discriminador evalúa simultáneamente la corrección y clasifica el tipo de degradación de la imagen restaurada. Diseñamos un esquema de aprendizaje adversarial novedoso que solo retropropaga la pérdida de un tipo de degradación al respectivo codificador específico para la tarea. A pesar de estar diseñado para manejar diferentes tipos de mal tiempo, extensos experimentos demuestran que nuestro método tiene un rendimiento competitivo con respecto a los métodos individuales y dedicados de restauración de imágenes de vanguardia.