QAngaroo（MedHop + WikiHop） - 文書間の多段階読解理解のためのデータセットの構築

ほとんどの読解理解手法は、単一の文、段落、または文書を使用して回答できるクエリに自らを制限しています。異なるテキストの証拠を結合できるモデルを可能にすることは、機械の理解方法の範囲を広げることになりますが、現在この能力を訓練しテストするためのリソースは存在しません。我々は複数の文書間でのテキスト理解のためのモデル開発を促進し、既存の手法の限界を調査する新しい課題を提案します。我々の課題では、モデルは証拠を探し、結合することを学び、実質的に多段階推論を行います。この課題のためのデータセットを生成する手法を考案し、クエリ-回答ペアのコレクションおよびテーマ的に関連する文書を与えます。異なるドメインから二つのデータセットが導出され、潜在的な落とし穴を識別し、回避戦略を考案します。以前に提案された二つの競争モデルを評価し、1つは文書間で情報を統合できることを発見しました。しかし、両モデルとも関連情報を選択するのに苦労し、関連性が保証された文書を提供するとそのパフォーマンスが大幅に向上します。モデルは複数の強力なベースラインを上回りますが、最良の精度は注釈付きテストセットで54.5%、人間のパフォーマンスは85.0%に対し、改善の余地が大いに残されています。