Una comparación empírica de técnicas de validación de modelos para modelos de predicción de defectos

Los modelos de predicción de defectos ayudan a los equipos de aseguramiento de calidad de software a asignar sus recursos limitados a los módulos más propensos a defectos. Las técnicas de validación de modelos, como la validación cruzada k-fold, utilizan datos históricos para estimar cuán bien se desempeñará un modelo en el futuro. Sin embargo, se sabe poco sobre cuán precisas tienden a ser las estimaciones de las técnicas de validación de modelos. En este artículo, investigamos el sesgo y la varianza de las técnicas de validación de modelos en el dominio de la predicción de defectos. El análisis de 101 conjuntos de datos públicos de defectos sugiere que el 77 por ciento de ellos son altamente susceptibles de producir resultados inestables; seleccionar una técnica de validación de modelos adecuada es una elección crítica en el diseño experimental. Basándonos en un análisis de 256 estudios en la literatura de predicción de defectos, seleccionamos las 12 técnicas de validación de modelos más comúnmente adoptadas para su evaluación. A través de un estudio de caso de 18 sistemas, encontramos que la validación de retención de una sola repetición tiende a producir estimaciones con un sesgo de 46-229 por ciento más y una varianza de 53-863 por ciento más que las técnicas de validación de modelos mejor clasificadas. Por otro lado, la validación bootstrap fuera de muestra ofrece el mejor equilibrio entre el sesgo y la varianza de las estimaciones en el contexto de nuestro estudio. Por lo tanto, recomendamos que los futuros estudios de predicción de defectos eviten la validación de retención de una sola repetición y, en su lugar, utilicen la validación bootstrap fuera de muestra.