Faire progresser le feedback formatif pour les apprenants EFL : L'avantage des grands modèles linguistiques par rapport aux systèmes traditionnels d'évaluation automatisée de l'écriture

Les grands modèles linguistiques (LLM) ont émergé en tant qu'outils prometteurs pour fournir des retours évolutifs et personnalisés dans les contextes éducatifs. Cette étude est la première à comparer un LLM (c'est-à-dire ChatGPT) à un système d'évaluation automatisée de l'écriture (AWE) bien établi, Pigai, dans la délivrance de retours formatifs pour les apprenants d'anglais comme langue étrangère. Utilisant un design contrôlé randomisé en simple aveugle, cette étude a impliqué 24 étudiants universitaires dans un programme de formation à l'écriture académique de quatre semaines. Les participants ont complété des essais hebdomadaires et ont reçu des retours soit de ChatGPT, soit de Pigai. Les réponses de ChatGPT ont été affinées grâce à l'ingénierie des invites, garantissant l'alignement avec les meilleures pratiques pour le feedback formatif en s'attaquant aux préoccupations de niveau inférieur (par exemple, grammaire, ponctuation) et de niveau supérieur (par exemple, argumentation, structure), fournissant des forces et des faiblesses, un langage motivant et des suggestions d'amélioration exploitables. La qualité de l'écriture, les perceptions de la qualité du feedback et la motivation ont été évaluées à l'aide de modèles linéaires mixtes et de tests t pour échantillons indépendants. À la fois ChatGPT et Pigai ont amélioré la qualité de l'écriture au fil du temps, mais seul ChatGPT a amélioré la motivation des étudiants—particulièrement la confiance en soi. Ces résultats soulignent l'avantage des LLM dans la délivrance de retours formatifs par rapport aux systèmes AWE traditionnels, en particulier pour favoriser la motivation des étudiants tout en atteignant des améliorations comparables des résultats académiques. Cette étude souligne le potentiel transformateur des LLM dans la technologie éducative, offrant des solutions de feedback évolutives et personnalisées qui peuvent répondre à divers besoins éducatifs.