Lifting 2D StyleGAN für 3D-bewusste Gesichtsgenerierung

Wir schlagen ein Framework vor, das LiftedGAN genannt wird, das ein vortrainiertes StyleGAN2 für 3D-bewusste Gesichtsgenerierung entkoppelt und anhebt. Unser Modell ist "3D-bewusst" in dem Sinne, dass es (1) den latenten Raum von StyleGAN2 in Textur, Form, Blickwinkel und Beleuchtung entkoppeln und (2) 3D-Komponenten zur Darstellung synthetischer Bilder generieren kann. Im Gegensatz zu den meisten vorherigen Methoden ist unser Ansatz vollständig selbstüberwachend, d.h. er benötigt keine manuelle Annotation oder 3DMM-Modell für das Training. Stattdessen lernt es, Bilder sowie deren 3D-Komponenten zu generieren, indem es das vorhandene Wissen in StyleGAN2 mit einem differenzierbaren Renderer destilliert. Das vorgeschlagene Modell kann sowohl die 3D-Form als auch die Textur ausgeben, was eine explizite Steuerung von Pose und Beleuchtung über generierte Bilder ermöglicht. Qualitative und quantitative Ergebnisse zeigen die Überlegenheit unseres Ansatzes gegenüber bestehenden Methoden bei 3D-kontrollierbaren GANs in Bezug auf die Inhaltskontrollierbarkeit, während realistische hochqualitative Bilder erzeugt werden.