Réseaux de filtres dynamiques découplés

La convolution est l'un des éléments de base des architectures CNN. Malgré son utilisation courante, la convolution standard présente deux principaux inconvénients : indépendante du contenu et gourmande en ressources. Les filtres dynamiques sont adaptatifs au contenu, tout en augmentant davantage la charge computationnelle. La convolution par profondeur est une variante légère, mais elle entraîne généralement une baisse de la performance des CNN ou nécessite un plus grand nombre de canaux. Dans ce travail, nous proposons le Filtre Dynamique Découplé (DDF) qui peut simultanément s'attaquer à ces deux inconvénients. Inspiré par les récentes avancées en attention, le DDF découple un filtre dynamique par profondeur en filtres dynamiques spatiaux et canaux. Cette décomposition réduit considérablement le nombre de paramètres et limite les coûts computationnels au même niveau que la convolution par profondeur. Entre-temps, nous observons un gain de performance significatif en remplaçant la convolution standard par le DDF dans les réseaux de classification. ResNet50 / 101 s'améliorent de 1,9 % et 1,3 % sur la précision top-1, tandis que leurs coûts computationnels sont réduits de près de moitié. Des expériences sur les réseaux de détection et de suréchantillonnage conjoint démontrent également la performance supérieure de la variante de suréchantillonnage DDF (DDF-Up) par rapport à la convolution standard et aux couches adaptatives au contenu spécialisées. La page du projet avec le code est disponible 1.