Lecteur Ruminant : Raisonnement avec une Attention Multi-Saut Gérée

Pour répondre à la question dans la tâche de compréhension machine (CM), les modèles doivent établir l'interaction entre la question et le contexte. Pour résoudre le problème que le modèle à passage unique ne peut pas se réfléchir et corriger sa réponse, nous présentons le Lecteur Ruminant. Le Lecteur Ruminant ajoute un second passage d'attention et un nouveau composant de fusion d'information au modèle de Flux d'Attention Bi-Directionnel (BiDAF). Nous proposons des structures de couches novatrices qui construisent une représentation vectorielle de contexte sensible à la requête et fusionnent la représentation d'encodage avec la représentation intermédiaire sur le modèle BiDAF. Nous montrons qu'un mécanisme d'attention multi-saut peut être appliqué à une structure d'attention bi-directionnelle. Dans des expériences sur SQuAD, nous constatons que le Lecteur surpasse le standard BiDAF de manière significative et égalise ou dépasse la performance de tous les autres systèmes publiés.