Entraînement Adversarial à Double Tête

Les réseaux de neurones profonds (DNN) sont connus pour être vulnérables aux exemples/attaques adversariaux, soulevant des inquiétudes quant à leur fiabilité dans des applications critiques pour la sécurité. Un certain nombre de méthodes de défense ont été proposées pour entraîner des DNN robustes résistants aux attaques adversariales, parmi lesquelles l'entraînement adversarial a jusqu'à présent démontré les résultats les plus prometteurs. Cependant, des études récentes ont montré qu'il existe un compromis inhérent entre précision et robustesse dans les DNN entraînés de manière adversariale. Dans cet article, nous proposons une nouvelle technique d'Entraînement Adversarial à Double Tête (DH-AT) pour améliorer davantage la robustesse des méthodes d'entraînement adversarial existantes. Contrairement aux variantes améliorées existantes de l'entraînement adversarial, le DH-AT modifie à la fois l'architecture du réseau et la stratégie d'entraînement pour rechercher plus de robustesse. Plus précisément, le DH-AT attache d'abord une seconde tête de réseau (ou branche) à une couche intermédiaire du réseau, puis utilise un réseau de neurones convolutionnel léger (CNN) pour agréger les sorties des deux têtes. La stratégie d'entraînement est également adaptée pour refléter l'importance relative des deux têtes. Nous montrons empiriquement, sur plusieurs jeux de données de référence, que le DH-AT peut apporter des améliorations notables en termes de robustesse aux méthodes d'entraînement adversarial existantes. Comparé à TRADES, une méthode d'entraînement adversarial à la pointe, notre DH-AT peut améliorer la robustesse de 3,4 % contre PGD 40 et de 2,3 % contre AutoAttack, et améliorer également la précision nette de 1,8 %.