Optimisation de l'efficacité mémoire pour les réseaux de neurones convolutionnels profonds sur GPU

En s'appuyant sur de grands ensembles de données, les réseaux de neurones convolutionnels profonds (CNN) atteignent une précision de reconnaissance à la pointe de la technologie. Cependant, en raison des opérations importantes de calcul et de mémoire, ils nécessitent un temps d'exécution considérable. La capacité de calcul parallèle massive des GPU en fait l'une des plateformes idéales pour accélérer les CNN, et un certain nombre de bibliothèques CNN basées sur GPU ont été développées. Alors que les travaux existants se concentrent principalement sur l'efficacité computationnelle des CNN, l'efficacité mémoire des CNN a été largement négligée. Pourtant, les CNN possèdent des structures de données complexes et leur comportement mémoire peut avoir un impact significatif sur la performance. Dans ce travail, nous étudions l'efficacité mémoire de différentes couches de CNN et révélons les implications de performance tant des agencements de données que des motifs d'accès mémoire. Les expériences montrent l'effet universel de nos optimisations proposées sur les couches individuelles et divers réseaux, avec jusqu'à 27,9× pour une seule couche et jusqu'à 5,6× sur l'ensemble des réseaux.