Key points are not available for this paper at this time.
Abordar o desafio de gerar feedback personalizado para tarefas de programação é exigente devido a vários fatores, como a complexidade da sintaxe de código ou diferentes maneiras de resolver corretamente uma tarefa. Neste estudo experimental, automatizamos o processo de geração de feedback utilizando o modelo GPT-3.5 da OpenAI para gerar dicas personalizadas para estudantes resolvendo tarefas de programação em uma plataforma de avaliação automatizada. Os estudantes avaliaram positivamente a utilidade das dicas geradas pelo GPT. O grupo experimental (com dicas do GPT habilitadas) dependeu menos do feedback regular da plataforma, mas teve um desempenho melhor em termos de porcentagem de submissões bem-sucedidas em tentativas consecutivas para tarefas onde as dicas do GPT estavam habilitadas. Para tarefas onde o feedback do GPT foi desabilitado, o grupo experimental precisou de significativamente menos tempo para resolver as tarefas. Além disso, quando as dicas do GPT não estavam disponíveis, os estudantes na condição experimental eram inicialmente menos propensos a resolver a tarefa corretamente. Isso sugere uma potencial dependência excessiva do feedback gerado pelo GPT. No entanto, os estudantes na condição experimental conseguiram corrigir razoavelmente rápido, alcançando a mesma porcentagem correta após sete tentativas de submissão. A disponibilidade das dicas do GPT não impactou significativamente o estado afetivo dos estudantes.
Pankiewicz et al. (Mon,) estudaram essa questão.