STDF: Fusión Deformable Espacio-Temporal para la Mejora de la Calidad de Video en Plataformas Integradas

Con el desarrollo de sistemas embebidos y el aprendizaje profundo, es factible combinarlos para ofrecer diversos y convenientes servicios centrados en el ser humano, basados en videos de alta calidad (HQ). Sin embargo, debido al límite de carga de tráfico de video y el ruido inevitable, la calidad visual de una imagen desde una cámara de borde puede degradarse significativamente, influyendo en la calidad general del video y del servicio. Para mantener la estabilidad del video, la mejora de calidad de video (QE), que tiene como objetivo recuperar videos HQ de sus fuentes distorsionadas de baja calidad (LQ), ha suscitado una atención creciente en los últimos años. El desafío clave para la QE de video radica en cómo agregar efectivamente información complementaria de múltiples cuadros (es decir, fusión temporal). Para manejar el movimiento diverso en los videos, los métodos existentes aplican comúnmente compensación de movimiento antes de la fusión temporal. Sin embargo, el campo de movimiento estimado del video LQ distorsionado tiende a ser inexacto e incierto, lo que resulta en una fusión y restauración ineficaces. Además, la estimación de movimiento para cuadros consecutivos generalmente se lleva a cabo de manera par a par, lo que conduce a un cálculo costoso e ineficiente. En este artículo, proponemos un esquema de fusión temporal rápido pero efectivo para QE de video, incorporando una novedosa Convolución Deformable Espacio-Temporal (STDC) para compensar simultáneamente el movimiento y agregar información temporal. Específicamente, el esquema de fusión temporal propuesto toma un marco objetivo junto con sus marcos de referencia adyacentes como entrada para estimar conjuntamente un campo de desplazamiento para deformar las posiciones de muestreo espacio-temporal de la convolución. Como resultado, la información complementaria de múltiples cuadros puede fusionarse dentro de la operación STDC en una sola pasada hacia adelante. Resultados experimentales extensivos en tres conjuntos de datos de referencia muestran que nuestro método se desempeña favorablemente en comparación con el estado del arte en términos de precisión y eficiencia.