Reconstrucción Tridimensional Pre-entrenada como Prior para Mejorar la Robustez a Ataques Adversariales y Correlaciones Espurias

Asegurar la robustez de los clasificadores de imágenes contra ataques adversariales y correlaciones espurias ha sido un desafío. Uno de los métodos más efectivos para la robustez ante adversarios es un tipo de aumento de datos que utiliza ejemplos adversariales durante el entrenamiento. Aquí, inspirados en modelos computacionales de la visión humana, exploramos una síntesis de este enfoque aprovechando un prior estructurado sobre la formación de imágenes: la geometría 3D de los objetos y cómo se proyecta en las imágenes. Combinamos el entrenamiento adversarial con una inicialización de pesos que codifica implícitamente tal prior sobre objetos 3D a través de un pre-entrenamiento de reconstrucción 3D. Evaluamos nuestro enfoque utilizando dos conjuntos de datos diferentes y lo comparamos con protocolos de pre-entrenamiento alternativos que no codifican un prior sobre la forma 3D. Para explorar sistemáticamente el efecto del pre-entrenamiento 3D, introducimos un nuevo conjunto de datos llamado Geon3D, que consiste en formas simples que, no obstante, capturan variaciones en múltiples dimensiones distintas de la geometría. Encontramos que, si bien el pre-entrenamiento de reconstrucción 3D no mejora la robustez para la configuración más simple del conjunto de datos que consideramos (Geon3D en un fondo limpio), sí mejora el entrenamiento adversarial en condiciones más realistas (Geon3D con fondo texturizado y ShapeNet). También encontramos que el pre-entrenamiento 3D acoplado con entrenamiento adversarial mejora la robustez a correlaciones espurias entre la forma y las texturas de fondo. Además, mostramos que el beneficio de usar pre-entrenamiento basado en 3D supera al pre-entrenamiento basado en 2D en ShapeNet. Esperamos que estos resultados fomenten una mayor investigación sobre los beneficios de los modelos de visión estructurados y basados en 3D para la robustez ante adversarios.