Softmax Splatting für die Interpolation von Videobildern

Differenzierbares Bildsampling in Form von rückwärtsgerichtetem Warping hat breite Anwendung in Aufgaben wie Tiefenschätzung und optischer Flussvorhersage gefunden. Im Gegensatz dazu hat das Vorwärtswarpen weniger Aufmerksamkeit erhalten, partly aufgrund zusätzlicher Herausforderungen wie der Lösung des Konflikts, mehrere Pixel auf denselben Zielort auf differenzierbare Weise abzubilden. Wir schlagen Softmax Splatting vor, um diesen Paradigmenwechsel zu adressieren, und zeigen dessen Effektivität bei der Anwendung von Bildinterpolation. Genauer gesagt, gegeben zwei Eingangsrahmen, führen wir das Vorwärtswarpen der Rahmen und ihrer Merkmals-Pyramiden-Darstellungen basierend auf einer Schätzung des optischen Flusses mithilfe von Softmax Splatting durch. Dabei ermöglicht das Softmax Splatting eine nahtlose Handhabung von Fällen, in denen mehrere Quellpixel auf denselben Zielort abgebildet werden. Wir verwenden dann ein Synthesenetzwerk, um das Interpolationsergebnis aus den verformten Darstellungen vorherzusagen. Unser Softmax Splatting ermöglicht es uns, nicht nur Bilder zu einem beliebigen Zeitpunkt zu interpolieren, sondern auch die Merkmals-Pyramide und den optischen Fluss fein abzustimmen. Wir zeigen, dass unser Syntheseansatz, der durch Softmax Splatting gestärkt wird, neue bahnbrechende Ergebnisse für die Interpolation von Videobildern erzielt.