Modèles de Langage Large (GPT) pour automatiser les retours sur les travaux de programmation

S'attaquer au défi de générer des retours personnalisés pour les travaux de programmation est exigeant en raison de plusieurs facteurs, comme la complexité de la syntaxe du code ou les différentes manières de résoudre correctement une tâche. Dans cette étude expérimentale, nous avons automatisé le processus de génération de retours en utilisant le modèle GPT-3.5 d'OpenAI pour fournir des indices personnalisés aux étudiants résolvant des travaux de programmation sur une plateforme d'évaluation automatique. Les étudiants ont évalué positivement l'utilité des indices générés par GPT. Le groupe expérimental (avec indications GPT activées) s'est moins fié aux retours habituels de la plateforme mais a obtenu de meilleurs résultats en termes de pourcentage de soumissions réussies au cours des tentatives consécutives pour les tâches où les indices GPT étaient activés. Pour les tâches où le retour GPT n'était pas disponible, le groupe expérimental a eu besoin de beaucoup moins de temps pour résoudre les devoirs. De plus, lorsque les indices GPT n'étaient pas disponibles, les étudiants dans la condition expérimentale étaient initialement moins susceptibles de résoudre correctement le devoir. Cela suggère une dépendance potentielle excessive au retour généré par GPT. Cependant, les étudiants dans la condition expérimentale ont pu corriger assez rapidement, atteignant le même pourcentage de réussite après sept tentatives de soumission. La disponibilité des indices GPT n'a pas eu d'impact significatif sur l'état affectif des étudiants.