Key points are not available for this paper at this time.
高リスクの熱力学試験(252人の学生、四つの多部問題)をサンプルとして使用し、手書きの学生解答のAI支援採点の四つのワークフローの実現可能性を調査します。我々は、手書きの回答を機械可読形式に変換することが最大の課題であることを発見しました。採点基準の詳細度も採点パフォーマンスに影響を与えます:全体の問題に対して細かいルーブリックを使用すると、帳簿上の誤りや採点失敗を引き起こすことが多い一方で、部分的に問題を採点する方が信頼性が高いものの微妙なニュアンスを見逃しがちです。また、プロセス図のような手書きのグラフィックスを採点することは、本質的な詳細と余計な情報を区別するのが難しいため、数学的な導出よりも信頼性が低いことがわかりました。合格基準を満たす試験を特定する際にはシステムは正確ですが、失敗した成績の試験には依然として人間の採点が必要です。我々は、遭遇したいくつかの課題を克服するための推奨事項で結論づけます。
Kortemeyerら(火曜)はこの問題を研究しました。