A ajuda gerada pelo ChatGPT produz ganhos de aprendizagem equivalentes à ajuda de tutores humanos em habilidades matemáticas

A autoria de conteúdo de ajuda dentro de tecnologias educacionais é intensiva em mão de obra, exigindo muitas iterações de criação, refinamento e revisão de conteúdo. Neste artigo, realizamos uma avaliação de eficácia da ajuda gerada pelo ChatGPT usando um design de estudo 3 x 4 (N = 274) para comparar os ganhos de aprendizagem do ChatGPT com a ajuda de tutores humanos em quatro áreas de problemas matemáticos. Os participantes são aleatoriamente designados a uma de três condições de dica (controle, tutor humano ou ChatGPT) emparelhadas com uma das quatro áreas de assunto aleatoriamente atribuídas (Álgebra Elementar, Álgebra Intermediária, Álgebra Universitária ou Estatística). Descobrimos que apenas a condição do ChatGPT produz ganhos de aprendizagem estatisticamente significativos em comparação com um controle sem ajuda, sem diferenças estatisticamente significativas nos ganhos ou tempo de tarefa observadas entre os alunos que receberam ajuda do ChatGPT versus ajuda de tutores humanos. Notavelmente, a ajuda gerada pelo ChatGPT falhou em verificações de qualidade em 32% dos problemas. Isso, no entanto, foi reduzido para quase 0% para problemas de álgebra e 13% para problemas de estatística após a aplicação de auto-consistência, uma técnica de mitigação de "alucinações" para Modelos de Linguagem Grande.