私のAIはこれが試験に出るかどうかを知りたい: OpenAIのCodexをCS2プログラミング演習にテストする

OpenAI Codexの導入は、生成AIモデルがコンピュータ教育の実践に与える影響に対する関心の高まりを引き起こしました。Codexは、人気のあるコードエディタでの自動補完を通じて学生にAI生成コードにアクセス可能にするプラグインであるGitHub Copilotの基盤モデルでもあります。この分野の研究、特に教育的含意に関するものはまだ始まったばかりで、ほとんどが初歩的なプログラミング（CS1）に関する質問に特化しています。最近の研究では、Codexが一般的なCS1の試験問題においてほとんどの学生よりもかなり良い成績を収めることが示されています。しかし、より複雑なプログラミング課題や試験に関してCodexの限界が何であるかは明らかではありません。本論文では、過去の試験から取られたより高度なCS2（データ構造とアルゴリズム）試験問題におけるCodexの性能を詳細に示す結果を提示します。これらの結果を通常の条件下で同じ試験を受けた学生のものと比較し、Codexがほとんどの学生を上回ることを実証します。このようなツールが将来の学部コンピュータ教育に与える影響を考察します。