Konsistenter Video-Stiltransfer durch Entspannung und Regularisierung

In den letzten Jahren hat der neurale Stiltransfer immer mehr Aufmerksamkeit auf sich gezogen, insbesondere für den Bildstiltransfer. Allerdings ist der zeitlich konsistente Stiltransfer für Videos nach wie vor ein herausforderndes Problem. Bestehende Methoden, die entweder auf einer erheblichen Menge von Videodaten mit optischen Flüssen basieren oder Einzelbild-Regularisierer verwenden, können starke Bewegungen oder komplexe Variationen nicht bewältigen und zeigen daher eine begrenzte Leistung bei echten Videos. In diesem Papier gehen wir auf das Problem ein, indem wir die intrinsischen Eigenschaften der Stilierung und der zeitlichen Konsistenz gemeinsam berücksichtigen. Zunächst identifizieren wir die Ursache des Konflikts zwischen Stiltransfer und zeitlicher Konsistenz und schlagen vor, diesen Widerspruch zu versöhnen, indem wir die Zielfunktion entspannen, um den Stilverlustrobuster gegenüber Bewegungen zu machen. Durch die Entspannung ist der Stiltransfer robuster gegenüber internen Bildvariationen, ohne den subjektiven Effekt zu beeinträchtigen. Dann bieten wir eine neuartige Formulierung und ein Verständnis von zeitlicher Konsistenz. Basierend auf der Formulierung analysieren wir die Nachteile bestehender Trainingsstrategien und leiten eine neue Regularisierung ab. Durch Experimente zeigen wir, dass die vorgeschlagene Regularisierung eine bessere Balance zwischen räumlicher und zeitlicher Leistung herstellen kann. Basierend auf Entspannung und Regularisierung entwerfen wir ein Zero-Shot Video-Stiltransfer-Framework. Darüber hinaus führen wir ein neues Modul ein, um die interkanal Verteilungen dynamisch anzupassen, um eine bessere Merkmalsmigration zu ermöglichen. Quantitative und qualitative Ergebnisse zeigen die Überlegenheit unseres Verfahrens gegenüber modernen Stiltransfermethoden.