Eine generische Methode zur Optimierung von Deep-Learning-Architekturen für Edge-Geräte zur Reduktion der Startverzögerung

Zusammenfassung In der vielversprechenden Technologie der Künstlichen Intelligenz für das Internet der Dinge werden Deep-Learning-Algorithmen auf Edge-Geräten implementiert, um Daten lokal zu verarbeiten. Hochleistungsfähige Deep-Learning-Algorithmen gehen jedoch mit erhöhten Rechen- und Speicherkosten für Parameter einher, was die Implementierung großer Deep-Learning-Algorithmen auf speicher- und leistungseingeschränkten Edge-Geräten, wie Smartphones und Drohnen, erschwert. Daher werden verschiedene Komprimierungsmethoden vorgeschlagen, wie das Pruning von Kanälen. Laut der Analyse von niederleveligen Operationen auf Edge-Geräten haben bestehende Kanal-Pruning-Methoden einen begrenzten Einfluss auf die Optimierung der Latenz. Aufgrund von Datenverarbeitungsoperationen führen die beschnittenen Restblöcke weiterhin zu signifikanter Latenz, was die Echtzeitverarbeitung von CNNs auf Edge-Geräten behindert. Daher schlagen wir eine generische Methode zur Optimierung von Deep-Learning-Architekturen vor, um eine weitere Beschleunigung auf Edge-Geräten zu erreichen. Das Netzwerk wird in zwei Phasen optimiert: Globale Einschränkung und Reduktion der Startverzögerung, wobei sowohl Kanäle als auch Restblöcke beschnitten werden. Die optimierten Netzwerke werden auf Desktop-CPUs, FPGAs, ARM-CPUs und PULP-Plattformen evaluiert. Die experimentellen Ergebnisse zeigen, dass die Latenz um bis zu 70,40 % reduziert wird, was 13,63 % höher ist als bei der alleinigen Anwendung des Kanal-Prunings und der Erreichung der Echtzeitverarbeitung im Edge-Gerät.