Key points are not available for this paper at this time.
L'évolution rapide de l'intelligence artificielle (IA), en particulier des modèles de langage de grande taille (LLMs), a ouvert des opportunités pour diverses applications éducatives. Cet article a exploré la faisabilité d'utiliser ChatGPT, l'un des LLMs les plus populaires, pour automatiser le feedback pour les devoirs de programmation en Java dans un cours d'introduction à l'informatique (CS1). Plus précisément, cette étude s'est concentrée sur trois questions : 1) Dans quelle mesure les étudiants perçoivent-ils le feedback généré par les LLMs comme formatif ? 2) Comment les étudiants perçoivent-ils les avantages comparatifs des incitations de feedback qui incluent leur code, par rapport à celles qui l'excluent ? 3) Quelles améliorations les étudiants suggèrent-ils pour améliorer le feedback généré par les LLMs ? Pour répondre à ces questions, nous avons généré un feedback automatisé en utilisant l'API ChatGPT pour quatre devoirs pratiques dans un cours CS1. Les résultats de l'enquête ont révélé que les étudiants percevaient le feedback comme bien aligné avec les directives de feedback formatif établies par Shute. De plus, les étudiants ont montré une préférence claire pour le feedback généré en incluant le code des étudiants comme partie de l'invite LLM, et notre étude thématique a indiqué que cette préférence était principalement attribuée à la spécificité, la clarté et la nature corrective du feedback. Par ailleurs, cette étude a trouvé que les étudiants s'attendaient généralement à un feedback spécifique et correctif avec des exemples de code suffisants, mais avaient des opinions divergentes sur le ton du feedback. Cette étude a démontré que ChatGPT pouvait générer un feedback sur les devoirs de programmation Java que les étudiants percevaient comme formatif. Elle a également offert des perspectives sur les améliorations spécifiques qui rendraient le feedback généré par ChatGPT utile pour les étudiants.
Zhang et al. (Sun,) ont étudié cette question.