Apprentissage par renforcement avec attention des représentations internes pour la classification

L'apprentissage animal est associé à des changements dans l'efficacité des connexions entre neurones. Les règles qui régissent cette plasticité peuvent être testées dans des réseaux neuronaux. Les règles qui entraînent les réseaux neuronaux à cartographier les stimuli sur les sorties sont données par les théories d'apprentissage supervisé et d'apprentissage par renforcement. L'apprentissage supervisé est efficace mais biologiquement implausible. En revanche, l'apprentissage par renforcement est biologiquement plausible mais comparativement inefficace. Il lui manque un mécanisme capable d'identifier les unités aux niveaux de traitement précoces qui jouent un rôle décisif dans la cartographie stimulus-réponse. Ici, nous montrons que ce qu'on appelle le problème d'attribution du crédit peut être résolu par un nouveau rôle de l'attention dans l'apprentissage. Il y a deux facteurs dans notre nouveau schéma d'apprentissage qui déterminent la plasticité synaptique : (1) un signal de renforcement qui est homogène à travers le réseau et dépend de la quantité de récompense obtenue après un essai, et (2) un signal de rétroaction attentionnel provenant de la couche de sortie qui limite la plasticité à ces unités des niveaux de traitement antérieurs qui sont cruciales pour la cartographie stimulus-réponse. Le nouveau schéma s'appelle l'apprentissage par renforcement avec attention (AGREL). Nous montrons qu'il est aussi efficace que l'apprentissage supervisé dans les tâches de classification. AGREL est biologiquement réaliste et intègre le rôle des connexions de rétroaction, des effets attentionnels, de la plasticité synaptique et des signaux d'apprentissage par renforcement dans un cadre cohérent.