Intercambio de rostros que preserva la identidad a través de modelos generativos duales de sustitutos

En este estudio, revisamos el contexto fundamental de los modelos de intercambio de rostros y revelamos que el uso exclusivo de supervisión implícita para el entrenamiento lleva a la dificultad de que los métodos avanzados preserven la identidad de origen. Proponemos un novedoso enfoque de generación de pseudo-entradas inversas para ofrecer datos suplementarios para el entrenamiento de modelos de intercambio de rostros, que aborda el problema mencionado. A diferencia de la estrategia de entrenamiento basada en pseudoetiquetas tradicional, asumimos que imágenes faciales reales arbitrarias podrían servir como las salidas de verdad para la red de intercambio de rostros e intentamos generar datos de pares de entrada correspondientes. Específicamente, involucramos un sustituto creador de origen que altera los atributos de la imagen real mientras mantiene la identidad, y un sustituto creador de objetivo que tiene la intención de sintetizar imágenes de objetivo que preservan los atributos con diferentes identidades. Nuestro marco, que utiliza datos emparejados de manera proxy como supervisión explícita para dirigir el proceso de entrenamiento de intercambio de rostros, cumple parcialmente con una dirección de optimización creíble y efectiva para mejorar la capacidad de preservación de la identidad. Diseñamos estrategias de adaptación explícita e implícita para aproximar mejor la supervisión explícita para el intercambio de rostros. Experimentos cuantitativos y cualitativos en FF++, FFHQ e imágenes salvajes muestran que nuestro marco podría mejorar el rendimiento de varias canalizaciones de intercambio de rostros en términos de fidelidad visual y preservación de ID. Además, mostramos aplicaciones con nuestro método en envejecimiento revertido, personalización de atributos intercambiables, intercambios entre dominios y contacto audiovisual. El código está disponible en https://github.com/ICTMCG/CSCS.