Évaluation de la convolution déformable : une enquête dans la classification d'images et de vidéos

Les réseaux de neurones convolutionnels (CNN) présentent des inconvénients pour modéliser les transformations géométriques, causés par la localité de l'opération de convolution. La convolution déformable (DCON) est un mécanisme qui résout ces inconvénients et améliore la robustesse. Dans cette étude, nous clarifions la manière optimale de remplacer la convolution standard par son équivalent déformable dans un modèle de CNN. À cette fin, nous avons réalisé plusieurs expériences utilisant des DCON appliqués aux couches qui composent un petit modèle de CNN à quatre couches et sur les quatre couches de plusieurs ResNets avec des profondeurs de 18, 34, 50, et 101. Les modèles ont été testés sur des classes binaires équilibrées avec des données 2D et 3D. Si DCON est utilisé sur les premières couches de la proposition de modèle, les ressources informatiques tendront à augmenter et à produire une plus grande mauvaise classification que le CNN standard. Cependant, si le DCON est utilisé aux couches finales, la quantité de Flops diminuera, et la précision de classification s'améliorera jusqu'à 20 % par rapport au modèle de base. De plus, il gagne en robustesse car il peut s'adapter à l'objet d'intérêt. En outre, la meilleure taille de noyau du DCON est de trois. Avec ces résultats, nous proposons une ligne directrice et contribuons à comprendre l'impact du DCON sur la robustesse des CNN.