Einschuss-Gesichtsnachstellung mit dichter Korrespondenzschätzung

Die Einschuss-Gesichtsnachstellung ist eine herausfordernde Aufgabe aufgrund der Identitätsdiskrepanz zwischen Quell- und Steuerungsansichten. Die meisten bestehenden Methoden schaffen es nicht, die Beeinträchtigung durch die Identitätsinformationen der Steuerungssubjekte vollständig zu beseitigen, was zu Verzerrungen der Gesichtsform führen und den Realismus der Nachstellungsresultate beeinträchtigen kann. Um dieses Problem zu lösen, schlagen wir in dieser Arbeit die Verwendung eines 3D-verformbaren Modells (3DMM) für die explizite gesichtliche semantische Zerlegung und die Entwirrung der Identität vor. Anstatt nur 3D-Koeffizienten zur Steuerung der Nachstellung zu verwenden, nutzen wir die generative Fähigkeit des 3DMM, um texturierte Gesichtsproxies zu rendern. Diese Proxies enthalten reichhaltige, aber kompakte geometrische und semantische Informationen menschlicher Gesichter, die es uns ermöglichen, das Gesichtsbewegungsfeld zwischen den Quell- und Steuerungsbildern zu berechnen, indem wir die dichte Korrespondenz schätzen. Auf diese Weise können wir die Nachstellungsresultate approximieren, indem wir Quellbilder entsprechend dem Bewegungsfeld verformen, und ein generatives gegnerisches Netzwerk (GAN) wird angenommen, um die visuelle Qualität der Verformungsergebnisse weiter zu verbessern. Umfassende Experimente an verschiedenen Datensätzen zeigen die Vorteile der vorgeschlagenen Methode im Vergleich zu bestehenden Benchmark-Ständen sowohl in Bezug auf die Identitätsbewahrung als auch auf die Erfüllung der Nachstellung.