Mémoires à Court et Long Terme en Grille

Cet article introduit les Mémoires à Court et Long Terme en Grille, un réseau de cellules LSTM agencées dans une grille multidimensionnelle pouvant être appliquée à des vecteurs, des séquences ou des données de dimension supérieure telles que des images. Le réseau diffère des architectures LSTM profondes existantes en ce sens que les cellules sont connectées entre les couches du réseau ainsi que le long des dimensions spatiotemporelles des données. Ce réseau offre une manière unifiée d'utiliser LSTM pour le calcul à la fois profond et séquentiel. Nous appliquons le modèle à des tâches algorithmiques telles que l'addition d'entiers à 15 chiffres et la mémorisation de séquences, où il parvient à dépasser de manière significative le LSTM standard. Nous présentons ensuite les résultats pour deux tâches empiriques. Nous trouvons que le LSTM en Grille 2D atteint 1,47 bits par caractère sur l'évaluation de la prédiction de caractères de Wikipedia, ce qui est à la pointe parmi les approches neuronales. De plus, nous utilisons le LSTM en Grille pour définir un nouveau modèle de traduction bidimensionnel, le Reencodeur, et montrons qu'il surpasse un système de référence basé sur des phrases dans une tâche de traduction du chinois vers l'anglais.