Renforcement de la robustesse des réseaux convolutifs avec une couche d'inhibition push–pull

Résumé Les réseaux de neurones convolutifs (CNN) manquent de robustesse face aux corruptions d'images de test qui ne sont pas observées pendant l'entraînement. Dans cet article, nous proposons une nouvelle couche pour les CNN qui accroît leur robustesse à plusieurs types de corruptions des images d'entrée. Nous l'appelons une couche 'push–pull' et calculons sa réponse comme la combinaison de deux convolutions à onde demi-rectifiée, avec des noyaux de tailles différentes et de polarité opposée. Son implémentation est basée sur un modèle biologiquement motivé de certains neurones du système visuel qui présentent une suppression de réponse, connue sous le nom d'inhibition push–pull. Nous validons notre méthode en remplaçant la première couche convolutive des architectures LeNet, ResNet et DenseNet par notre couche push–pull. Nous entraînons les réseaux sur les images d'entraînement d'origine des ensembles de données MNIST et CIFAR et les testons sur des images avec plusieurs corruptions, de types et de severités différents, qui ne sont pas vues lors du processus d'entraînement. Nous expérimentons avec diverses configurations des modèles ResNet et DenseNet sur un ensemble de test de référence avec des corruptions d'images typiques construites à partir des images de test CIFAR. Nous démontrons que notre couche push–pull contribue à une amélioration considérable de la robustesse de la classification des images corrompues, tout en maintenant des performances à la pointe de la technologie sur la tâche de classification d'images d'origine. Nous avons publié le code et les modèles entraînés à l'url http://github.com/nicstrisc/Push-Pull-CNN-layer.