Sind Mutationsscores mit der Erkennung echter Fehler korreliert?

Die empirische Validierung von Softwaretests stützt sich zunehmend auf Mutanten. Diese Praxis wird durch die starke Korrelation zwischen Mutationsscores und der Erkennung echter Fehler motiviert, die in der Literatur berichtet wird. Im Gegensatz dazu zeigt unsere Studie, dass Korrelationen Ergebnisse der konfundierenden Effekte der Testfallgröße sind. Insbesondere untersuchen wir die Beziehung zwischen zwei unabhängigen Variablen, Mutationsscore und Testfallgröße, und einer abhängigen Variablen, der Erkennung (echter) Fehler. Wir nutzen zwei Datensätze, CoreBench und Defects4J, mit großen C- und Java-Programmen sowie echten Fehlern und liefern Beweise dafür, dass alle Korrelationen zwischen Mutationsscores und der Erkennung echter Fehler schwach sind, wenn die Testfallgröße kontrolliert wird. Wir stellen auch fest, dass beide unabhängigen Variablen die abhängige signifikant beeinflussen, mit signifikant besseren Anpassungen, jedoch insgesamt mit relativ niedriger Vorhersagekraft. Durch die Messung der Fehlererkennungsfähigkeit der nach Mutationsscore hochrangigsten Testfälle (im Gegensatz zu zufällig ausgewählten Testfällen derselben Größe) stellen wir fest, dass höhere Mutationsscores die Fehlererkennung signifikant verbessern. Insgesamt deuten unsere Daten darauf hin, dass Mutanten eine gute Anleitung zur Verbesserung der Fehlererkennung von Testfällen bieten, aber ihre Korrelation mit der Fehlererkennung schwach ist.