Attention neuronale basée sur la convolution avec des applications à la classification des sentiments

Le mécanisme d'attention neuronale a connu de nombreux succès dans diverses tâches de traitement du langage naturel. Cependant, les modèles d'attention neuronale existants, basés sur un réseau densément connecté, sont faiblement liés au mécanisme d'attention trouvé en psychologie et en neuroscience. Motivés par les découvertes en neuroscience selon lesquelles les humains possèdent un mécanisme d'attention basé sur la recherche de modèles, nous proposons d'utiliser l'opération de convolution pour simuler les attentions et donner une explication mathématique de notre modèle d'attention neuronale. Nous introduisons ensuite une nouvelle architecture de réseau, qui combine un réseau de neurones récurrent avec notre modèle d'attention basé sur la convolution et empile en outre un modèle neuronal basé sur l'attention pour construire un modèle hiérarchique de classification des sentiments. Les résultats expérimentaux montrent que nos modèles proposés peuvent capturer les parties saillantes du texte pour améliorer la performance de la classification des sentiments tant au niveau des phrases qu'au niveau des documents.