Interpretando el Espacio Latente de las GANs para la Edición Semántica de Rostros

A pesar del reciente avance de las Redes Generativas Antagónicas (GANs) en la síntesis de imágenes de alta fidelidad, no se comprende lo suficiente sobre cómo las GANs son capaces de mapear un código latente muestreado de una distribución aleatoria a una imagen fotorealista. Trabajos anteriores asumen que el espacio latente aprendido por las GANs sigue una representación distribuida, pero observan el fenómeno de la aritmética de vectores. En este trabajo, proponemos un marco novedoso, llamado InterFaceGAN, para la edición semántica de rostros al interpretar la semántica latente aprendida por las GANs. En este marco, realizamos un estudio detallado sobre cómo se codifican diferentes semánticas en el espacio latente de las GANs para la síntesis de rostros. Descubrimos que el código latente de modelos generativos bien entrenados en realidad aprende una representación desencapsulada después de transformaciones lineales. Exploramos el desencadenamiento entre varias semánticas y logramos desacoplar algunas semánticas entrelazadas mediante proyección de subespacios, lo que conduce a un control más preciso de los atributos faciales. Además de manipular género, edad, expresión y la presencia de gafas, incluso podemos variar la pose facial así como corregir los artefactos generados accidentalmente por los modelos de GAN. El método propuesto se aplica además para lograr manipulación de imágenes reales cuando se combina con métodos de inversión de GAN o algunos modelos que involucran codificadores. Resultados extensos sugieren que aprender a sintetizar rostros espontáneamente trae una representación de atributos faciales desencapsulada y controlable.