Co-Attention Hierarchical Network: Generierung kohärenter langer Ablenkungen für das Leseverständnis

Beim Leseverständnis ist die Generierung von Satzebene-Ablenkungen eine bedeutende Aufgabe, die ein tiefes Verständnis des Artikels und der Frage erfordert. Die traditionellen entitätszentrierten Methoden können nur Wort- oder Phrasenebene-Ablenkungen generieren. Obwohl kürzlich vorgeschlagene neura-basierte Methoden wie das Sequenz-zu-Sequenz (Seq2Seq) Modell großes Potenzial in der Generierung kreativer Texte zeigen, ignorieren die vorherigen neuronalen Methoden zur Ablenkungsgenerierung zwei wichtige Aspekte. Erstens haben sie die Interaktionen zwischen Artikel und Frage nicht modelliert, wodurch die generierten Ablenkungen dazu tendieren, zu allgemein oder nicht relevant zum Kontext der Frage zu sein. Zweitens haben sie die Beziehung zwischen der Ablenkung und dem Artikel nicht betont, wodurch die generierten Ablenkungen nicht semantisch relevant für den Artikel sind und somit nicht in der Lage sind, eine Menge bedeutungsvoller Optionen zu bilden. Um das erste Problem zu lösen, schlagen wir eine co-attention-verbesserte hierarchische Architektur vor, um die Interaktionen zwischen Artikel und Frage besser zu erfassen, und leiten so den Decoder, um kohärentere Ablenkungen zu generieren. Um das zweite Problem zu mildern, fügen wir einen zusätzlichen semantischen Ähnlichkeitsverlust hinzu, um die generierten Ablenkungen relevanter für den Artikel zu machen. Experimentelle Ergebnisse zeigen, dass unser Modell mehrere starke Baselines in automatischen Metriken übertrifft und eine Spitzenleistung erreicht. Weitere menschliche Bewertungen zeigen, dass unsere generierten Ablenkungen kohärenter und lehrreicher sind im Vergleich zu den Ablenkungen, die von Baselines erzeugt wurden.