RACE：試験からの大規模な読解理解データセット

私たちはRACEを紹介します。これは、読解理解タスクにおける手法のベンチマーク評価のための新しいデータセットです。12歳から18歳の中国の中学生と高校生のための英語試験から収集され、RACEは約28,000の文章と約100,000の専門家（英語教師）によって生成された質問を含み、学生の理解力と推論力を評価するために慎重に設計された多様なトピックをカバーしています。特に、推論を必要とする質問の割合は、RACEが他の読解理解用ベンチマークデータセットよりもはるかに大きく、最先端のモデル（43%）のパフォーマンスと天井人間パフォーマンス（95%）との間に大きなギャップがあります。この新しいデータセットが機械理解における研究と評価の貴重なリソースとして役立つことを期待しています。このデータセットはhttp://www.cs.cmu.edu/~glai1/data/race/で無償で入手可能、コードはhttps://github.com/qizhex/RACEARbaselinesで利用できます。