Hochfrequente Makeup-Übertragung über 2D- und 3D-Identitätserhaltungsnetz

In diesem Artikel beschäftigen wir uns mit der anspruchsvollen Aufgabe der Makeup-Übertragung, die darauf abzielt, Makeup von einem Referenzbild auf ein Quellbild zu übertragen, während die Gesichtsgeometrie und die Konsistenz des Hintergrunds erhalten bleiben. Bestehende auf tiefen neuronalen Netzwerken basierende Methoden haben vielversprechende Ergebnisse bei der Ausrichtung von Gesichtsbereichen und der Übertragung von Makeup-Strukturen gezeigt. Sie vernachlässigen jedoch oft die Gesichtsgeometrie des Quellbildes, was zu zwei nachteiligen Effekten führt: (1) Veränderungen in geometrisch relevanten Gesichtszügen, die zu einer Abflachung des Gesichts und einem Verlust der Persönlichkeit führen, und (2) Schwierigkeiten, die Konsistenz des Hintergrunds aufrechtzuerhalten, da Netzwerke die Grenze zwischen Gesicht und Hintergrund nicht eindeutig bestimmen können. Um diese Probleme gemeinsam anzugehen, schlagen wir das Hochfrequente Makeup über das zweidimensionale (2D) und 3D-Identitätserhaltungsnetzwerk (IP23-Net) vor, das, soweit wir wissen, ein neuartiges Framework ist, das Informationen zur Gesichtsgeometrie nutzt, um realistischere Ergebnisse zu erzielen. Unsere Methode umfasst einen 3D-Shape-Identitäts-Encoder, der Identitäts- und 3D-Formmerkmale extrahiert. Wir integrieren ein 3D-Gesichtsrekonstruktionsmodell, um den dreidimensionalen Effekt des Face Makeup sicherzustellen und damit die Tiefe und das natürliche Erscheinungsbild der Charaktere zu bewahren. Um die Konsistenz des Hintergrunds zu erhalten, sagt unser Background Correction Decoder automatisch eine adaptive Maske für das Quellbild voraus, die Vorder- und Hintergrund voneinander unterscheidet. Neben gängigen Benchmarks führen wir einen neuen groß angelegten High-Resolution-Synthetic-Makeup-Datensatz ein, der 335.230 diverse hochauflösende Gesichtsbilder enthält, um die Generalisierungsfähigkeit unserer Methode zu bewerten. Experimente zeigen, dass IP23-Net eine hochfrequente Makeup-Übertragung erreicht und gleichzeitig die Konsistenz des Hintergrunds effektiv bewahrt. Der Code wird öffentlich zugänglich gemacht.