Accélérateur de Réseau Neuronal Énergétiquement Efficace Basé sur un Calcul à Faible Précision Sensible aux Valeurs Abérrantes

En raison de la présence de grandes valeurs, que nous appelons valeurs abérrantes, les méthodes conventionnelles de quantification échouent à atteindre une précision significativement faible, par exemple, quatre bits, pour des réseaux de neurones très profonds, tels que ResNet-101. Dans cette étude, nous proposons un accélérateur matériel, appelé l'accélérateur sensible aux valeurs abérrantes (OLAccel). Il effectue des calculs denses et à faible précision pour une majorité de données (poids et activations) tout en gérant efficacement un petit nombre de valeurs abérrantes éparses et à haute précision (par exemple, représentant 3 % des données totales). L'OLAccel est basé sur des unités de multiplication-accumulation (MAC) de 4 bits et gère les poids et activations abérrants d'une manière différente. Pour les poids abérrants, il équipe les voies SIMD des unités MAC d'une unité MAC supplémentaire, ce qui permet d'éviter les surcoûts de cycle pour la majorité des occurrences abérrantes, c'est-à-dire une seule occurrence dans les voies SIMD. L'OLAccel effectue des calculs en utilisant l'activation abérrante sur des unités MAC dédiées et à haute précision. Afin d'éviter les problèmes de cohérence dus aux mises à jour des unités de calcul à faible et haute précision, les deux unités mettent à jour les sommes partielles de manière pipelinisée. Nos expériences montrent que l'OLAccel peut réduire la consommation d'énergie de 43,5 % (27,0 %), 56,7 % (36,3 %) et 62,2 % (49,5 %) pour AlexNet, VGG-16 et ResNet-18, respectivement, par rapport à un accélérateur à zéro sensible de pointe de 16 bits (8 bits). Le gain d'énergie provient principalement des composantes mémoire, la DRAM, et de la mémoire sur puce en raison de la précision réduite.