Die NarrativeQA Leseverständnis-Herausforderung

Leseverständnis (RC) erfordert – im Gegensatz zur Informationsbeschaffung – die Integration von Informationen und das Nachdenken über Ereignisse, Entitäten und deren Beziehungen über ein komplettes Dokument hinweg. Die Beantwortung von Fragen wird üblicherweise verwendet, um die RC-Fähigkeit sowohl bei künstlichen Agenten als auch bei Kindern, die lesen lernen, zu bewerten. Bestehende RC-Datensätze und Aufgaben werden jedoch von Fragen dominiert, die durch die Auswahl von Antworten unter Verwendung oberflächlicher Informationen (z. B. lokale Kontextähnlichkeit oder globale Termhäufigkeit) gelöst werden können; sie testen somit nicht den wesentlichen integrativen Aspekt des RC. Um Fortschritte im tieferen Verständnis von Sprache zu fördern, präsentieren wir einen neuen Datensatz und eine Reihe von Aufgaben, bei denen die Leser Fragen zu Geschichten beantworten müssen, indem sie ganze Bücher oder Filmskripte lesen. Diese Aufgaben sind so gestaltet, dass das erfolgreiche Beantworten ihrer Fragen das Verständnis der zugrunde liegenden Erzählung erfordert und nicht auf oberflächlichem Mustermatching oder Salienz beruht. Wir zeigen, dass Menschen die Aufgaben leicht lösen, während standardmäßige RC-Modelle bei den hier präsentierten Aufgaben Schwierigkeiten haben. Wir bieten eine Analyse des Datensatzes und der Herausforderungen, die er bietet.