Techniques d'apprentissage basées sur la rétropropagation pour les réseaux de neurones biologiques profonds : Une enquête

Avec l'adoption de systèmes intelligents, les réseaux de neurones artificiels (RNA) sont devenus omniprésents. Les mises en œuvre conventionnelles de RNA ont une consommation d'énergie élevée, limitant leur utilisation dans des applications embarquées et mobiles. Les réseaux de neurones à impulsions (SNN) imitent la dynamique des réseaux de neurones biologiques en distribuant l'information au fil du temps à travers des impulsions binaires. Le matériel neuromorphique a émergé pour tirer parti des caractéristiques des SNN, telles que le traitement asynchrone et la forte parcimonie d'activation. Par conséquent, les SNN ont récemment suscité un intérêt dans la communauté de l'apprentissage automatique en tant qu'alternative inspirée du cerveau aux RNA pour des applications de faible puissance. Cependant, la représentation discrète de l'information rend l'entraînement des SNN par des techniques basées sur la rétropropagation difficile. Dans cette enquête, nous examinons les stratégies d'entraînement pour les SNN profonds ciblant des applications d'apprentissage profond telles que le traitement d'images. Nous commençons par des méthodes basées sur la conversion d'un RNA en SNN et les comparons avec des techniques basées sur la rétropropagation. Nous proposons une nouvelle taxonomie des algorithmes de rétropropagation par impulsion en trois catégories, à savoir, les approches spatiales, spatiotemporelles et à impulsion unique. De plus, nous analysons différentes stratégies pour améliorer la précision, la latence et la parcimonie, telles que les méthodes de régularisation, l'hybridation des formations et le réglage des paramètres spécifiques au modèle de neurone SNN. Nous soulignons l'impact de l'encodage des entrées, de l'architecture du réseau et de la stratégie d'entraînement sur le compromis précision-latence. Enfin, à la lumière des défis restants pour des solutions SNN précises et efficaces, nous soulignons l'importance du développement conjoint matériel-logiciel.