Die Auswirkungen von Klassifikationsverfahren auf die Leistung von Defektvorhersagemodellen erneut betrachten

Defektvorhersagemodelle helfen den Qualitätssicherungsteams von Software, ihre begrenzten Ressourcen effektiv auf die fehleranfälligsten Softwaremodule zu verteilen. Eine Vielzahl von Klassifikationsverfahren wurde verwendet, um Defektvorhersagemodelle zu erstellen, die von einfachen (z.B. logistische Regression) bis hin zu fortgeschrittenen Techniken (z.B. multivariate adaptive Regressionssplines (MARS)) reichen. Überraschenderweise legt die aktuelle Forschung zum NASA-Datensatz nahe, dass die Leistung eines Defektvorhersagemodells nicht signifikant von der Klassifikationstechnik beeinflusst wird, die zu dessen Training verwendet wird. Der Datensatz, der in der vorherigen Studie verwendet wurde, ist jedoch sowohl (a) verrauscht, d.h. enthält fehlerhafte Einträge, als auch (b) verzerrt, d.h. enthält nur Software, die in einer Umgebung entwickelt wurde. Daher haben wir uns zum Ziel gesetzt, diese vorherige Studie in zwei experimentellen Einstellungen zu replizieren. Zuerst wenden wir das replizierte Verfahren auf denselben (bekannt als verrauscht) NASA-Datensatz an, wo wir ähnliche Ergebnisse wie in der vorherigen Studie erhalten, d.h. der Einfluss der Klassifikationstechniken scheint minimal zu sein. Als nächstes wenden wir das replizierte Verfahren auf zwei neue Datensätze an: (a) die bereinigte Version des NASA-Datensatzes und (b) den PROMISE-Datensatz, der Open-Source-Software enthält, die in verschiedenen Umgebungen entwickelt wurde (z.B. Apache, GNU). Die Ergebnisse in diesen neuen Datensätzen zeigen eine klare, statistisch signifikante Trennung der Gruppen von Techniken, d.h. die Wahl der Klassifikationstechnik hat einen Einfluss auf die Leistung der Defektvorhersagemodelle. In der Tat legen unsere Ergebnisse im Gegensatz zu früheren Forschungen nahe, dass einige Klassifikationstechniken dazu neigen, Defektvorhersagemodelle zu produzieren, die andere übertreffen.