Calificación Automática de Ejercicios de Programación utilizando Pruebas Basadas en Propiedades

Presentamos un marco para la calificación automática de ejercicios de programación utilizando pruebas basadas en propiedades, una forma de pruebas de caja negra basadas en modelos. Se desarrollan modelos para evaluar tanto el comportamiento funcional de los programas como su complejidad algorítmica. A partir del modelo de corrección funcional se derivan automáticamente una gran cantidad de casos de prueba. Al ejecutarlos en el cuerpo de ejercicios, se genera un ranking (parcial) de programas, de modo que un programa A se clasifica más alto que el programa B si falla un subconjunto estricto de los casos de prueba que falló B. El modelo para la complejidad algorítmica se utiliza para calcular límites de complejidad en el peor de los casos. Además, el marco considera métricas estructurales del código, como la complejidad cíclica de McCabe, lo que da lugar a una calificación compuesta del programa que incluye aspectos funcionales, no funcionales, y estructurales del código. El marco se evalúa en un curso que enseña algoritmos y estructuras de datos utilizando Java.