HNPU : Un processeur d'entraînement DNN adaptatif utilisant la recherche de précision de bit active et de point fixe dynamique stochastique

Cet article présente HNPU, qui est un processeur d'entraînement de réseau de neurones profond (DNN) économe en énergie en adoptant un co-conception algorithme-matériel. Le HNPU supporte la représentation de point fixe dynamique stochastique et une unité de recherche de précision adaptative couche par couche pour un entraînement à faible précision de bit. Il utilise de plus la reconfigurabilité au niveau des tranches et la parcimonie pour maximiser son efficacité tant dans l'inférence que dans l'entraînement de DNN. Un réseau d'accumulation reconfigurable à bande passante adaptative permet une allocation reconfigurable de DNN et maintient une utilisation élevée de son cœur même dans diverses conditions de précision de bit. Fabriqué dans un processus de 28 nm, le HNPU a atteint au moins 5,9 fois une efficacité énergétique plus élevée et 2,5 fois une efficacité de surface plus élevée dans l'entraînement de DNN par rapport aux processeurs d'apprentissage sur puce à la pointe de la technologie précédents.