Key points are not available for this paper at this time.
La modélisation du mouvement est essentielle dans l'interpolation d'images vidéo (VFI) basée sur le flux. Les paradigmes existants considèrent soit des combinaisons linéaires de flux bidirectionnels, soit prédisent directement des flux bilatéraux pour des horodatages donnés sans explorer les priors de mouvement favorables, manquant ainsi de la capacité à modéliser efficacement la dynamique spatiotemporelle dans les vidéos du monde réel. Pour remédier à cette limitation, dans cette étude, nous introduisons la Modélisation Implicite Généralisable du Mouvement (GIMM), une approche novatrice et efficace de modélisation du mouvement pour le VFI. Plus précisément, pour permettre à GIMM d'être un paradigme de modélisation du mouvement efficace, nous concevons un pipeline d'encodage de mouvement pour modéliser le mouvement spatiotemporel latent à partir de flux bidirectionnels extraits d'estimateurs de flux pré-entraînés, représentant effectivement les priors de mouvement spécifiques à l'entrée. Ensuite, nous prédisons implicitement des flux optiques à pas de temps arbitraires au sein de deux images d'entrée adjacentes via un réseau neuronal basé sur des coordonnées adaptatives, avec des coordonnées spatiotemporelles et du mouvement latent comme entrées. Notre GIMM peut être intégré en douceur avec les travaux VFI existants basés sur le flux sans modifications supplémentaires. Nous montrons que GIMM performe mieux que l'état de l'art actuel sur les benchmarks VFI.
Guo et al. (Thu,) ont étudié cette question.