AutoCompress : Un cadre de taille DNN structuré automatique pour des taux de compression ultra-élevés

L'élagage de poids structuré est une technique de compression de modèle représentative des DNN visant à réduire les exigences de stockage et de calcul et à accélérer l'inférence. Un processus automatique de détermination d'hyperparamètres est nécessaire en raison du grand nombre d'hyperparamètres flexibles. Ce travail propose AutoCompress, un cadre d'élagage structuré automatique avec les améliorations de performance clés suivantes : (i) incorporer efficacement la combinaison de schémas d'élagage structuré dans le processus automatique ; (ii) adopter l'élagage de poids structuré basé sur ADMM, à la pointe de la technologie, comme algorithme principal, et proposer une étape de purification supplémentaire innovante pour une réduction de poids supplémentaire sans perte de précision ; et (iii) développer une méthode de recherche heuristique efficace améliorée par une recherche guidée basée sur l'expérience, remplaçant la technique précédente d'apprentissage par renforcement profond qui présente une incompatibilité sous-jacente avec le problème d'élagage ciblé. D'importantes expérimentations sur les ensembles de données CIFAR-10 et ImageNet démontrent qu'AutoCompress est la clé pour atteindre des taux d'élagage ultra-élevés sur le nombre de poids et de FLOPs, ce qui n'était pas réalisable auparavant. Par exemple, AutoCompress surpasse les travaux antérieurs sur la compression automatique de modèles jusqu'à 33× en taux d'élagage (réduction de 120× du nombre réel de paramètres) avec la même précision. Une accélération significative de l'inférence a été observée dans le cadre d'AutoCompress sur des mesures réelles sur smartphone. Nous publions des modèles de ce travail à l'adresse suivante : http://bit.ly/2VZ63dS.