Disección de GAN: Visualización y Comprensión de Redes Generativas Antagónicas

Las Redes Generativas Antagónicas (GAN) han logrado recientemente resultados impresionantes para muchas aplicaciones del mundo real, y han surgido muchas variantes de GAN que han mejorado la calidad de las muestras y la estabilidad del entrenamiento. Sin embargo, no han sido bien visualizadas o comprendidas. ¿Cómo representa una GAN nuestra visión internamente? ¿Qué causa los artefactos en los resultados de GAN? ¿Cómo afectan las elecciones el aprendizaje de la GAN? Responder a tales preguntas podría permitirnos desarrollar nuevos conocimientos y mejores modelos. En este trabajo, presentamos un marco analítico para visualizar y comprender a nivel de unidad, objeto y escena. Primero identificamos un grupo de unidades que están estrechamente relacionadas con conceptos de objetos utilizando un método de disección de red basado en unidades. Luego, cuantificamos la causalidad de las unidades interpretables midiendo la capacidad de las intervenciones para afectar a los objetos en la salida. Examinamos la relación contextual entre las unidades y su entorno insertando los conceptos de objeto descubiertos en nuevas imágenes. Mostramos varias aplicaciones prácticas habilitadas por nuestra investigación, desde comparar representaciones internas a través de diferentes capas, y conjuntos de datos, hasta mejorar las GAN al localizar y eliminar unidades causantes de artefactos, para manipular objetos de forma interactiva en una escena. Abrimos las herramientas de interpretación como código abierto para ayudar a investigadores y profesionales a comprender sus modelos de GAN.