Synthèse de vues dynamiques avec déformation de caractéristiques spatio-temporelles à partir de vues rares

Des progrès significatifs ont été réalisés dans la synthèse de nouvelles vues de scènes dynamiques à partir de vues d'entrée rares. Cependant, atteindre la cohérence spatio-temporelle dans la synthèse de vues dynamiques reste un défi pour les approches précédentes, car la corrélation spatio-temporelle pour la synthèse de vues n'a pas été pleinement explorée. Dans cet article, nous proposons un mécanisme de déformation de caractéristiques spatio-temporelles (STFW), qui peut être intégré dans un modèle profond pour produire des résultats de synthèse de vues de haute qualité et spatio-temporellement cohérents. Les deux composants principaux de STFW sont : (1) un module de déformation de caractéristiques spatiales (SFW), qui permet une perception adaptative des informations géométriques contextuellement cohérentes en multi-vues avec une représentation compacte en nuage de points, et (2) un module de déformation de caractéristiques temporelles (TFW) qui modélise implicitement la géométrie dynamique en s'approchant du décalage de pixels dans la coordonnée d'image. Dans le processus d'optimisation de la synthèse des vues, le SFW et le TFW sont intégrés pour exploiter les indices de corrélation spatio-temporelle à travers les vues d'entrée rares et les nouvelles vues. En utilisant le STFW, nous construisons en outre un modèle de synthèse de vues dynamiques de bout en bout avec des vues d'entrée rares. L'évaluation qualitative et quantitative sur des ensembles de données multi-vues publiques démontre que notre pipeline de synthèse de vues atteint de meilleures performances par rapport aux méthodes précédentes en termes de qualité visuelle.