Corrección Automática Mejorada por IA de Ejercicios de Programación: ¿Qué Tan Efectivo es GPT-3.5?

La retroalimentación formativa oportuna se considera uno de los impulsores más importantes para un aprendizaje efectivo. Proporcionar retroalimentación oportuna e individualizada es particularmente desafiante en clases grandes en la educación superior. Recientemente, se hicieron disponibles para el público Modelos de Lenguaje Grande como GPT-3, que mostraron resultados prometedores en diversas tareas como la generación de código y la explicación del código. Este documento investiga el potencial de la IA en proporcionar corrección personalizada de código y generar retroalimentación. Basado en las presentaciones existentes de estudiantes de dos tareas del mundo real diferentes, se investiga la corrección de la evaluación e-instruida por IA así como las características como la localización de errores, la corrección de las sugerencias y las recomendaciones sobre el estilo de código de la retroalimentación generada. Los resultados muestran que el 73% de las presentaciones fueron identificadas correctamente como correctas o incorrectas. En el 59% de estos casos, GPT-3.5 también generó retroalimentación efectiva y de alta calidad. Además, GPT-3.5 mostró debilidades en su evaluación, incluyendo la localización de errores que no eran los errores reales, o incluso errores alucinados. Se discuten las implicaciones y los posibles nuevos escenarios de uso.