常識物語の深い理解のためのコーパスと評価フレームワーク

常識知識の表現と学習は、深い言語理解を可能にするための基本的な問題の一つです。この問題は、事象間のカジュアルかつ相関のある関係を理解する上で特に困難です。このテーマはNLPコミュニティで多くの関心を集めていますが、適切な評価フレームワークの欠如によって研究が妨げられています。本論文は、ストーリー理解とスクリプト学習を評価するための新しいフレームワークである「ストーリークローステスト」を提案してこの問題に取り組みます。このテストでは、システムが4文のストーリーの正しい結末を選択する必要があります。評価を実現するために、約50,000の5文からなる常識ストーリーコーパスROCStoriesを作成しました。このコーパスは次の2点でユニークです：(1) 日常の事象間の因果および時間的常識関係の豊富なセットを捉えていること、(2) ストーリー生成にも使用できる高品質な日常生活のストーリーコレクションであることです。実験評価は、浅い言語理解に基づく多数のベースラインと最先端モデルがストーリークローステストで高得点を達成するのに苦労することを示しています。私たちは、スクリプトとストーリー学習に対するこれらの含意を論じ、深い言語理解のための提案を行います。