Mapeo de ítems de preguntas a habilidades mediante factorización matricial no negativa

Los entornos de aprendizaje inteligente necesitan evaluar las habilidades de los estudiantes para adaptar el material del curso, proporcionar pistas útiles y, en general, ofrecer algún tipo de interacción personalizada. Para llevar a cabo esta evaluación, se presentan al estudiante ítems de preguntas, ejercicios y tareas. Esta evaluación se basa en un mapeo de tareas a habilidades. Sin embargo, el proceso de decidir qué habilidades están involucradas en una tarea determinada es tedioso y desafiante. Los medios para automatizarlo son muy deseables, incluso si solo se puede lograr una automatización parcial que proporcione herramientas de apoyo. Se demostró que una técnica reciente basada en la factorización matricial no negativa (NMF, por sus siglas en inglés) ofrece resultados valiosos, especialmente debido al hecho de que la factorización resultante permite una interpretación directa en términos de una matriz Q. Investigamos los factores y supuestos bajo los cuales la NMF puede derivar eficazmente las habilidades subyacentes de alto nivel detrás de los resultados de la evaluación. Demostramos el uso de diferentes técnicas para analizar e interpretar los resultados de la NMF. Proponemos un modelo simple para generar datos simulados y proporcionar límites inferiores y superiores para cuantificar el efecto de las habilidades. Utilizando los datos simulados, mostramos que, bajo el supuesto de habilidades independientes, la técnica de NMF es sumamente eficaz para derivar la matriz Q. Sin embargo, el rendimiento de la NMF se degrada bajo diferentes proporciones de varianza entre el desempeño del sujeto, la dificultad del ítem y el dominio de la habilidad. Los resultados corroboran las conclusiones de trabajos previos en el sentido de que las habilidades de alto nivel, correspondientes a temas generales como Historia Universal y Biología, parecen no tener un efecto sustancial en el rendimiento en las pruebas, mientras que otros temas como Matemáticas y Francés sí lo tienen. Las técnicas de análisis y visualización de la salida de la NMF, junto con el enfoque de simulación presentado en este artículo, deberían ser útiles para futuras investigaciones que utilicen la NMF para la inducción de la matriz Q a partir de datos.