Super-Resolução de Vídeo em Tempo Real com Redes Espaço- temporais e Compensação de Movimento

Redes neurais convolucionais possibilitaram a super-resolução de imagens com precisão e em tempo real. No entanto, tentativas recentes de se beneficiar das correlações temporais na super-resolução de vídeo foram limitadas a arquiteturas ingênuas ou ineficientes. Neste artigo, introduzimos redes de convolução subpixel espaço-temporais que exploram eficazmente as redundâncias temporais e melhoram a precisão da reconstrução enquanto mantêm a velocidade em tempo real. Especificamente, discutimos o uso de fusão precoce, fusão lenta e convoluções 3D para o processamento conjunto de múltiplos quadros de vídeo consecutivos. Também propomos um novo algoritmo de compensação de movimento conjunta e super-resolução de vídeo que é ordens de magnitude mais eficiente do que métodos concorrentes, dependendo de um módulo de transformador espacial de multi-resolução rápido que é treinável de ponta a ponta. Essas contribuições fornecem tanto maior precisão quanto vídeos temporariamente mais consistentes, o que confirmamos qualitativamente e quantitativamente. Em relação aos modelos de quadro único, redes espaço-temporais podem reduzir o custo computacional em 30% enquanto mantêm a mesma qualidade ou proporcionar um ganho de 0,2dB para um custo computacional similar. Resultados em conjuntos de dados publicamente disponíveis demonstram que os algoritmos propostos superam o desempenho atual de ponta tanto em precisão quanto em eficiência.