Key points are not available for this paper at this time.
Die Verarbeitung in-memory (PIM) verspricht, neuronale Netze (NNs) zu beschleunigen, da sie Datenbewegungen minimiert und große rechnerische Parallelität bietet. Ähnlich wie bei Beschleunigern für maschinelles Lernen spielt das Anwendungs-Mapping, das die Auftragsplanung und Datenanordnung bestimmt, eine entscheidende Rolle bei der Beschleunigung von NNs auf PIM. Die Mapping-Optimierung früherer NN-Beschleuniger konzentrierte sich darauf, die Latenz der sequenziellen Ausführung zu optimieren. Allerdings weist PIM-Beschleuniger einen distincten Entwurfsspielraum für das Anwendungs-Mapping auf, der sich von herkömmlichen NN-Beschleunigern unterscheidet, aufgrund der räumlichen Ausführung von NN-Schichten über verschiedene Speicherorte. Dies eröffnet Möglichkeiten für die Überlappung der Ausführung aufeinanderfolgender NN-Schichten zur Verbesserung der Latenz, wobei die nachfolgende Schicht mit der Ausführung beginnen kann, bevor die vorhergehende Schicht die Berechnung vollständig abgeschlossen hat. In diesem Papier schlagen wir das Fast-OverlaPIM-Framework vor, das die Optimierung der rechnerischen Überlappung in den DNN-Mapping-Erkundungsprozess auf PIM-Architekturen integriert. Fast-OverlaPIM umfasst analytische Algorithmen für eine schnelle und genaue Überlappungsanalyse. Außerdem schlägt es eine neuartige Suchstrategie für das Mapping und einen Transformationsmechanismus vor, um eine effiziente Erkundung des Entwurfsspielraums für das überlappungsbasierte Mapping für das gesamte Netzwerk zu ermöglichen. Unser Framework zeigt eine signifikante Verbesserung der Laufzeitleistung von 3,4x bis 323,1x im Vergleich zum vorherigen Stand der Technik des überlappungsbasierten Frameworks. Unsere Experimente zeigen, dass Fast-OverlaPIM effizient Mappings generieren kann, die 4,6x bis 18,1x schneller sind als das Stand der Technik Mapping-Optimierungs-Framework unter den gleichen Architekturconstraints.
Wang et al. (Sun,) haben diese Frage untersucht.