Semi-Supervised QA mit generativen domänenadaptiven Netzen

Wir untersuchen das Problem des semi-supervised Question Answering – die Nutzung von unlabeled Text, um die Leistung von Question Answering-Modellen zu steigern. Wir schlagen ein neuartiges Trainingsframework vor, die Generativen Domänen-Adaptierten Netze. In diesem Framework trainieren wir ein generatives Modell, um Fragen auf der Grundlage des unlabeled Texts zu generieren, und kombinieren modellgenerierte Fragen mit menschlich generierten Fragen, um Question Answering-Modelle zu trainieren. Wir entwickeln neuartige Domänenanpassungsalgorithmen, basierend auf Reinforcement Learning, um die Diskrepanz zwischen der modellgenerierten Datenverteilung und der menschlichen Datenverteilung zu verringern. Experimente zeigen, dass unser vorgeschlagenes Framework eine wesentliche Verbesserung durch unlabeled Text erzielt.