Los puntos clave no están disponibles para este artículo en este momento.
Los modelos de lenguaje grandes como ChatGPT pueden aprender en contexto (ICL) a partir de ejemplos. Los estudios han demostrado que, debido a ICL, ChatGPT logra un rendimiento impresionante en varias tareas de procesamiento de lenguaje natural. Sin embargo, hasta donde sabemos, este es el primer estudio que evalúa la efectividad de ChatGPT en la anotación de un conjunto de datos para entrenar modelos de instructores en sistemas de tutoría inteligente (ITS). La tarea de un modelo de instructor de ITS es proporcionar automáticamente instrucciones de tutoría efectivas dado el estado de un estudiante, imitando a los instructores humanos. Estos modelos se implementan típicamente como reglas codificadas, lo que requiere experiencia y limita su capacidad para generalizar y personalizar instrucciones. Estos problemas podrían ser mitigados mediante el uso de aprendizaje automático (ML). Sin embargo, desarrollar modelos de ML requiere un conjunto de datos grande de estados de estudiantes anotados con las instrucciones de tutoría correspondientes. Utilizar expertos humanos para anotar dicho conjunto de datos es costoso, consume mucho tiempo y requiere experiencia pedagógica. Por lo tanto, este estudio explora el potencial de ChatGPT para actuar como un anotador experto en pedagogía. Utilizando ingeniería de indicaciones, creamos una lista de instrucciones que un tutor podría recomendar a un estudiante. Filtramos manualmente esta lista e instruimos a ChatGPT para seleccionar la instrucción adecuada de la lista para el estado del estudiante dado. Analizamos manualmente las respuestas de ChatGPT que podrían considerarse anotadas incorrectamente. Nuestros resultados indican que utilizar ChatGPT como anotador es una alternativa efectiva a los expertos humanos. Las contribuciones de nuestro trabajo son (1) una metodología de anotación de conjuntos de datos novedosa para el ITS, (2) un conjunto de datos de estados de estudiantes disponible públicamente anotado con instrucciones de tutoría, y (3) una lista de posibles instrucciones de tutoría.
Vujinović et al. (Jue,) estudiaron esta cuestión.