EvLight++: Mejora de Video en Baja Luz con una Cámara de Eventos: Un Conjunto de Datos del Mundo Real a Gran Escala, Método Novel y Más

Las cámaras de eventos ofrecen ventajas significativas para la mejora de video en baja luz, principalmente debido a su alto rango dinámico. Sin embargo, la investigación actual está severamente limitada por la ausencia de conjuntos de datos de video-evento a gran escala, del mundo real y espacial-temporalmente alineados. Para abordar esto, introducimos un conjunto de datos a gran escala con más de 30,000 pares de fotogramas y eventos capturados bajo diferentes iluminaciones. Este conjunto de datos fue curado utilizando un brazo robótico que traza una trayectoria no lineal consistente, logrando una precisión de alineación espacial inferior a 0.03 mm y alineación temporal con errores inferiores a 0.01 s para el 90% del conjunto de datos. Basándonos en el conjunto de datos, proponemos EvLight++, un enfoque novel de mejora de video en baja luz guiado por eventos, diseñado para un rendimiento robusto en escenarios del mundo real. Primero, diseñamos una rama de fusión holística a multi-escala para integrar información estructural y textural de ambas imágenes y eventos. Para contrarrestar las variaciones en la iluminación regional y el ruido, introducimos la selección de características regional guiada por la Relación Señal-Ruido (SNR), mejorando características de regiones de alto SNR y aumentando las de regiones de bajo SNR al extraer información estructural de eventos. Para incorporar información temporal y asegurar la coherencia temporal, además introducimos un módulo recurrente y pérdida temporal en todo el pipeline. Extensos experimentos en nuestros datos y el conjunto de datos sintético SDSD demuestran que EvLight++ supera significativamente tanto a métodos basados en una sola imagen como en video por 1.37 dB y 3.71 dB, respectivamente. Para explorar aún más su potencial en tareas posteriores como segmentación semántica y estimación de profundidad monocular, extendemos nuestros conjuntos de datos añadiendo etiquetas de pseudo segmentación y profundidad a través de esfuerzos de anotación meticulosos con modelos de base. Experimentos en diversas escenas de baja luz muestran que los resultados mejorados logran una mejora del 15.97% en mIoU para la segmentación semántica.