Eliminación de Lluvia de Video Consistente en Cuadros con Flujo de Doble Nivel

En este artículo, abordamos el problema de la eliminación de lluvia de videos proponiendo un marco más integral que considera los factores de degradación adicionales en escenas reales que fueron desestimados en trabajos anteriores. El marco propuesto se basa en una red recurrente de dos etapas con regularizaciones de flujo de doble nivel para realizar el proceso de recuperación inversa del modelo de síntesis de lluvia para la eliminación de lluvia en videos. El cuadro libre de lluvia se estima a partir de un solo cuadro de lluvia en la primera etapa. Luego se toma como guía junto con cuadros limpios recuperados previamente para ayudar a obtener un cuadro limpio más preciso en la segunda etapa. Esta arquitectura de dos pasos es capaz de extraer información de movimiento más confiable del cuadro libre de lluvia estimado inicialmente en la primera etapa para una mejor alineación de cuadros y modelado de movimiento en la segunda etapa. Además, para mantener la consistencia del movimiento entre cuadros que facilita un modelo de eliminación de lluvia consistente en cuadros en la segunda etapa, se propone una regularización basada en flujo de doble nivel a niveles de flujo grueso y fino. Para entrenar y evaluar mejor la red de eliminación de lluvia de video propuesta, se desarrolla un nuevo modelo de síntesis de lluvia para producir videos de entrenamiento y evaluación más auténticos visualmente. Experimentos extensivos en una serie de videos sintéticos y reales verifican no solo la superioridad del método propuesto sobre el estado del arte, sino también la efectividad del diseño de la red y de cada uno de sus componentes.