Accuracy in Assessing the Understanding of the Nature of Science via Generative AI, with a Pre-registered Study

Nature of Science（NOS）の評価方法は数多く提案されてきたが，評価の妥当性と研究知見の一般化可能性の両側面を両立することは難しい。そこで本研究では，既存の評価方法の課題を克服した新たな方法として，生成AIが半構造化面接の面接官を担える可能性に着目し，面接の第一質問に対する回答を想定した自由記述（仮想的回答・実際の大学生の回答）から，参加者の理解の適切性を正確に判断する能力を有するのかを検討した。さらに，回答の情報量が不足している場合，理解の適切性に関する判断を保留し，さらなる情報を引き出す追加の質問を生成できるのかを分析した。その結果，（1）仮想的回答では高い精度で回答者の理解の適切性を正確に判断できること，（2）大学生の回答では人間の評価者と同等の判断ができること，（3）情報量が不足している回答に対し，回答者の思考過程を可視化するための妥当な追加質問が生成できることの3点が明らかになった。