Ejemplos adversariales para segmentación semántica y detección de objetos

Se ha demostrado bien que los ejemplos adversariales, es decir, imágenes naturales con perturbaciones visualmente imperceptibles añadidas, generalmente existen para que las redes profundas fallen en la clasificación de imágenes. En este documento, extendemos los ejemplos adversariales a la segmentación semántica y la detección de objetos, que son mucho más difíciles. Nuestra observación es que tanto la segmentación como la detección se basan en clasificar múltiples objetivos en una imagen (por ejemplo, el objetivo básico es un píxel o un campo receptivo en la segmentación, y una propuesta de objeto en la detección), lo que nos inspira a optimizar una función de pérdida sobre un conjunto de píxeles/propuestas para generar perturbaciones adversariales. Basado en esta idea, proponemos un nuevo algoritmo llamado Generación de Adversarios Densa (DAG), que genera una gran familia de ejemplos adversariales y se aplica a una amplia gama de redes profundas de vanguardia para segmentación y detección. También encontramos que las perturbaciones adversariales pueden ser transferidas entre redes con diferentes datos de entrenamiento, basadas en diferentes arquitecturas, e incluso para diferentes tareas de reconocimiento. En particular, la transferibilidad entre redes con la misma arquitectura es más significativa que en otros casos. Además, sumar perturbaciones heterogéneas a menudo conduce a un mejor rendimiento de transferencia, lo que proporciona un método efectivo de ataque adversarial de caja negra.