Salient ImageNet: ¿Cómo descubrir características espurias en Aprendizaje Profundo?

Las redes neuronales profundas pueden ser poco confiables en el mundo real, especialmente cuando utilizan en gran medida características espurias para sus predicciones. Enfocándonos en las clasificaciones de imágenes, definimos características centrales como el conjunto de características visuales que siempre son parte de la definición del objeto, mientras que las características espurias son aquellas que probablemente coexistan con el objeto pero no son parte de él (por ejemplo, el atributo "dedos" para la clase "curita"). Los métodos tradicionales para descubrir características espurias requieren extensas anotaciones humanas (por lo tanto, no son escalables) o son útiles en modelos específicos. En este trabajo, introducimos un marco general para descubrir un subconjunto de características visuales espurias y centrales utilizadas en inferencias de un modelo general y localizarlas en un gran número de imágenes con una supervisión humana mínima. Nuestra metodología se basa en esta idea clave: para identificar características visuales espurias o centrales utilizadas en las predicciones del modelo, identificamos características neuronales espurias o centrales (neuronas de la penúltima capa de un modelo robusto) a través de una supervisión humana limitada (por ejemplo, utilizando las 5 imágenes más activas por característica). Luego mostramos que estas anotaciones de características neuronales se generalizan extremadamente bien a muchas más imágenes sin ninguna supervisión humana. Usamos los mapas de activación para estas características neuronales como las máscaras suaves para resaltar las características visuales espurias o centrales. Usando esta metodología, introducimos el conjunto de datos Salient Imagenet que contiene máscaras centrales y espurias para un gran conjunto de muestras de Imagenet. Usando este conjunto de datos, mostramos que varios modelos populares de Imagenet dependen en gran medida de diversas características espurias en sus predicciones, lo que indica que la precisión estándar por sí sola no es suficiente para evaluar completamente el rendimiento del modelo. El código y el conjunto de datos para reproducir todos los experimentos en el artículo están disponibles en https://github.com/singlasahil14/salientᵢmagenet.