Ein einheitliches abfragebasiertes generatives Modell für die Fragegenerierung und die Beantwortung von Fragen

Wir schlagen ein abfragebasiertes generatives Modell zur Lösung beider Aufgaben der Fragegenerierung (QG) und der Beantwortung von Fragen (QA) vor. Das Modell folgt dem klassischen Encoder-Decoder-Rahmenwerk. Der Encoder nimmt einen Abschnitt und eine Abfrage als Eingabe und führt dann das Verständnis der Abfrage durch, indem er die Abfrage aus mehreren Perspektiven mit dem Abschnitt abgleicht. Der Decoder ist ein auf Aufmerksamkeit basierendes Long Short Term Memory (LSTM)-Modell mit Kopier- und Abdeckungsmechanismen. In der QG-Aufgabe wird eine Frage aus dem System generiert, wobei der Abschnitt und die Zielantwort gegeben sind, während in der QA-Aufgabe die Antwort gegeben ist, wenn die Frage und der Abschnitt vorliegen. Während der Trainingsphase nutzen wir einen algorithmus zur Verstärkungslerntechnik mit Politikorientierung, um die Expositionsverzerrung zu überwinden, ein großes Problem, das aus dem sequenziellen Lernen mit Kreuzentropieverlust resultiert. Für die QG-Aufgabe zeigen unsere Experimente höhere Leistungen als die aktuellen Spitzenwerte. Wenn sie als zusätzliche Trainingsdaten verwendet werden, verbessern die automatisch generierten Fragen sogar die Leistung eines starken extraktiven QA-Systems. Darüber hinaus zeigt unser Modell eine bessere Leistung als die aktuellen Spitzenwerte der generativen QA-Aufgabe.