Hierarchische Patch-Diffusionsmodelle zur hochauflösenden Videogenerierung

Diffusionsmodelle haben bemerkenswerte Leistungen bei der Bild- und Videosynthese gezeigt. Die Skalierung auf hochauflösende Eingaben ist jedoch herausfordernd und erfordert eine Umstrukturierung der Diffusionspipeline in mehrere unabhängige Komponenten, was die Skalierbarkeit einschränkt und nachgelagerte Anwendungen kompliziert. Dies macht das Training sehr effizient und ermöglicht eine End-to-End-Optimierung bei hochauflösenden Videos. Wir verbessern PDMs auf zwei prinzipielle Weise. Erstens entwickeln wir zur Gewährleistung der Konsistenz zwischen den Patches eine tiefe Kontextfusion – eine architektonische Technik, die die Kontextinformationen von niedrigen zu hohen Patches hierarchisch propagiert. Zweitens schlagen wir zur Beschleunigung des Trainings und der Inferenz adaptive Berechnung vor, die mehr Netzwerkressourcen und Berechnungen auf grobe Bilddetails verteilt. Das resultierende Modell erreicht einen neuen State-of-the-Art FVD-Score von 66,32 und einen Inception Score von 87,68 in der klassenbedingten Videogenerierung auf UCF-101 256² und übertrifft aktuelle Methoden um mehr als 100 %. Dann zeigen wir, dass es schnell von einem Basis-36-64-Niedrigauflösungs-Generator für hochauflösende 64-288-512 Text-zu-Video-Synthese feinjustiert werden kann. Soweit wir wissen, ist unser Modell die erste diffusionsbasierte Architektur, die auf so hohen Auflösungen vollständig End-to-End trainiert wird. Projektwebseite: https://snap-research.github.io/hpdm.