MCUNet : Deep Learning minuscule sur des dispositifs IoT

L'apprentissage automatique sur de petits dispositifs IoT basés sur des unités de microcontrôleur (MCU) est attrayant mais difficile : la mémoire des microcontrôleurs est de 2 à 3 ordres de grandeur plus petite même que celle des téléphones mobiles. Nous proposons MCUNet, un cadre qui conçoit conjointement l'architecture neuronale efficace (TinyNAS) et le moteur d'inférence léger (TinyEngine), permettant une inférence à l'échelle d'ImageNet sur des microcontrôleurs. TinyNAS adopte une approche de recherche d'architecture neuronale en deux étapes qui optimise d'abord l'espace de recherche pour correspondre aux contraintes de ressources, puis spécialise l'architecture du réseau dans l'espace de recherche optimisé. TinyNAS peut gérer automatiquement diverses contraintes (c'est-à-dire appareil, latence, énergie, mémoire) avec des coûts de recherche faibles. TinyNAS est co-conçu avec TinyEngine, une bibliothèque d'inférence efficace en mémoire pour élargir l'espace de recherche et adapter un modèle plus grand. TinyEngine adapte la planification de la mémoire en fonction de la topologie globale du réseau plutôt qu'une optimisation couche par couche, réduisant l'utilisation de la mémoire de 4,8 fois et accélérant l'inférence de 1,7 à 3,3 fois par rapport à TF-Lite Micro et CMSIS-NN. MCUNet est le premier à atteindre >70 % de précision top1 sur ImageNet sur un microcontrôleur commercial prêt à l'emploi, en utilisant 3,5 fois moins de SRAM et 5,7 fois moins de Flash par rapport aux versions quantifiées de MobileNetV2 et ResNet-18. Sur les tâches de mots de réveil visuels et audio, MCUNet atteint une précision de pointe et fonctionne 2,4 à 3,4 fois plus rapidement que MobileNetV2 et des solutions basées sur ProxylessNAS avec 3,7 à 4,1 fois moins de pic de SRAM. Notre étude suggère que l'ère de l'apprentissage automatique toujours actif sur de petits dispositifs IoT est arrivée. Le code et les modèles peuvent être trouvés ici : https://tinyml.mit.edu.