Este estudio investigó la aplicación de WriteToLearn en los ensayos de estudiantes de inglés de pregrado chinos en términos de su capacidad de puntuación y la precisión de su retroalimentación de errores. Los participantes fueron 163 estudiantes de segundo año de inglés de una universidad ubicada en la provincia de Sichuan que escribieron 326 ensayos a partir de dos temas de escritura. Cada trabajo fue calificado por cuatro evaluadores humanos así como por WriteToLearn. Se realizó una medición de Rasch de muchos facetas (MFRM) para calibrar el rendimiento de puntuación de WriteToLearn en la puntuación de todo el conjunto de ensayos en comparación con los de cuatro evaluadores humanos entrenados. La precisión de la retroalimentación de WriteToLearn en 60 ensayos seleccionados aleatoriamente se comparó con la retroalimentación proporcionada por los evaluadores humanos. Los dos hallazgos principales relacionados con la puntuación fueron que WriteToLearn fue más consistente pero altamente estricto en comparación con los cuatro evaluadores humanos entrenados al puntuar ensayos y que no pudo puntuar 7 ensayos. En términos de retroalimentación de errores, WriteToLearn tuvo una precisión general y un recall del 49% y del 18.7% respectivamente. Estas cifras no alcanzaron el umbral mínimo del 90% de precisión para ser una herramienta confiable de detección de errores establecido por Burstein, Chodorow y Leacock (2003). Además, tuvo dificultad para identificar los errores cometidos por los estudiantes de inglés de pregrado chinos en el uso de artículos, preposiciones, elección de palabras y expresión.
Liu et al. (Fri,) estudiaron esta cuestión.