Automatización de la codificación de ensayos de autoafirmación: rendimiento de BERT afinado comparable al de codificadores humanos y comparación con GPT-4

Estudios previos han demostrado que una intervención de escritura de autoafirmación, en la que los estudiantes reflexionan sobre valores personalmente importantes, impacta positivamente en el rendimiento escolar de los estudiantes, y hay una investigación activa sobre esta intervención. Sin embargo, esta investigación requiere codificación manual de los ejercicios de escritura de los estudiantes, y dicha codificación manual ha demostrado ser una tarea que consume mucho tiempo y es costosa. Para asistir futuros estudios de intervención de autoafirmación o a educadores que implementan el ejercicio de escritura, empleamos nuestros datos etiquetados para afinar un modelo de lenguaje preentrenado que alcanza un nivel de rendimiento comparable al de los codificadores humanos (Kappa de Cohen: 0.85 entre la codificación automática y la humana comparado con 0.83 entre codificadores humanos). Para explorar el potencial de modelos de lenguaje más avanzados sin requerir un gran conjunto de datos de entrenamiento, también evaluamos GPT-4 de OpenAI en configuraciones de clasificación zero-shot y few-shot. Las predicciones zero-shot de GPT-4 ofrecen una precisión razonable, pero no alcanzan el rendimiento del modelo BERT afinado ni el nivel de acuerdo humano. Añadir ensayos ejemplares (prompts few-shot) no mejoró apreciablemente los resultados de GPT-4. Nuestro análisis también encuentra que el rendimiento del modelo BERT es consistente entre subgrupos estudiantiles, con disparidad mínima entre estudiantes "amenazados por estereotipos" y "no amenazados", que son los grupos focales para la comparación en la intervención de autoafirmación. Además, demostramos la generalizabilidad del modelo afinado en un conjunto de datos externo recopilado por un equipo de investigación diferente: el modelo mantuvo un alto acuerdo con los codificadores humanos (Kappa de Cohen = 0.86) en esta nueva muestra. Estos resultados sugieren que un modelo transformer afinado puede codificar de manera confiable ensayos de autoafirmación, reduciendo así la carga de codificación para futuros investigadores y educadores. Ponemos el modelo afinado a disposición pública para ayudar a la comunidad científica a automatizar la laboriosa tarea de codificación en https://github.com/visortown/bert-self-affirm.