NEPENTHE : Élagage basé sur l'entropie comme réducteur de profondeur des réseaux de neurones

Bien que les réseaux de neurones profonds soient très efficaces pour résoudre des tâches complexes, leurs exigences computationnelles peuvent entraver leur utilité dans des applications en temps réel et avec des systèmes à ressources limitées. De plus, pour de nombreuses tâches, il est connu que ces modèles sont sur-paramétrés : les travaux néotériques se sont largement concentrés sur la réduction de la largeur de ces réseaux, plutôt que de leur profondeur. Dans cet article, nous visons à réduire la profondeur des réseaux de neurones profonds sur-paramétrés : nous proposons un élagage basé sur l'entropie (eNtropy-basEd Pruning) comme réducteur de profondeur des réseaux de neurones (NEPENTHE) pour alléger le fardeau computationnel des réseaux de neurones profonds. Basé sur notre découverte théorique, NEPENTHE se concentre sur l'élagage non structurel des connexions dans les couches à faible entropie pour les supprimer complètement. Nous validons notre approche sur des architectures populaires telles que MobileNet et Swin-T, montrant que lorsqu'il est confronté à un régime de sur-paramétrisation, il peut efficacement linéariser certaines couches (réduisant ainsi la profondeur du modèle) avec peu ou pas de perte de performance. Le code sera disponible publiquement après acceptation de l'article.