Associer la méthode d'élagage idéale avec la distillation de connaissances pour une compression optimale

Au cours des dernières années, les techniques de compression de modèles ont suscité une attention significative en tant que moyen de réduire les exigences en matière de calcul et de mémoire des réseaux neuronaux profonds. La distillation de connaissances et l'élagage sont deux approches importantes dans ce domaine, chacune offrant des avantages uniques pour atteindre l'efficacité des modèles. Cet article examine les effets combinés de la distillation de connaissances et de deux stratégies d'élagage, l'élagage de poids et l'élagage de canaux, sur l'amélioration de l'efficacité de compression et de la performance des modèles. L'étude introduit un indicateur appelé “Efficacité de Performance” pour évaluer l'impact de ces stratégies d'élagage sur la compression et la performance des modèles. Nos recherches sont menées sur les ensembles de données populaires CIFAR-10 et CIFAR-100. Nous avons comparé diverses architectures de modèles, y compris ResNet, DenseNet, EfficientNet et MobileNet. Les résultats soulignent l'efficacité tant de l'élagage de poids que de l'élagage de canaux pour atteindre la compression des modèles. Cependant, une distinction significative émerge, l'élagage de poids montrant une performance supérieure à travers les quatre types d'architecture. Nous avons réalisé que la méthode d'élagage de poids s'adapte mieux à la distillation de connaissances que l'élagage de canaux. Les modèles élagués présentent une réduction significative des paramètres sans réduction significative de la précision.