Un marco de evaluación integral para la robustez de modelos profundos

• Establecer un marco integral para la robustez del modelo, que contenga 23 métricas diferentes. • Proporcionar una plataforma de código abierto para apoyar la evaluación de robustez fácil de usar y la integración continua. • Realizar experimentos a gran escala y proporcionar sugerencias preliminares para la evaluación de la robustez del modelo. Las redes neuronales profundas (DNNs) han logrado un rendimiento notable en una amplia gama de aplicaciones, mientras que son vulnerables a ejemplos adversariales, lo que motiva la evaluación y el benchmark de la robustez del modelo. Sin embargo, las evaluaciones actuales suelen utilizar métricas simples para estudiar el rendimiento de las defensas, lo que está lejos de entender las limitaciones y debilidades de estos métodos de defensa. Así, la mayoría de las defensas propuestas se demuestran rápidamente que son atacadas con éxito, lo que resulta en el fenómeno de “carrera armamentista” entre ataque y defensa. Para mitigar este problema, establecemos un marco de evaluación de robustez del modelo que contiene 23 métricas comprensivas y rigurosas, que consideran dos perspectivas clave del aprendizaje adversarial (es decir, datos y modelo). A través de la cobertura neuronal y la imperceptibilidad de los datos, utilizamos métricas orientadas a los datos para medir la integridad de los ejemplos de prueba; al profundizar en la estructura y el comportamiento del modelo, explotamos métricas orientadas al modelo para evaluar aún más la robustez en el contexto adversarial. Para demostrar completamente la efectividad de nuestro marco, realizamos experimentos a gran escala en múltiples conjuntos de datos, incluidos CIFAR-10, SVHN e ImageNet, utilizando diferentes modelos y defensas con nuestra plataforma de código abierto. En general, nuestro artículo proporciona un marco de evaluación integral, donde los investigadores podrían realizar evaluaciones completas y rápidas utilizando el kit de herramientas de código abierto, y los resultados analíticos podrían inspirar una comprensión más profunda y una mejora futura de la robustez del modelo.