Könnten Schätzungen des Fehlerexpositionspotenzials die Fehlererkennungsfähigkeiten von Test-Suites verbessern?

Zusammenfassung Kriterien zur Angemessenheit von Testdaten auf Basis der Codeabdeckung behandeln typischerweise alle abdeckbaren Codeelemente (wie Anweisungen, grundlegende Blöcke oder Ergebnisse von Entscheidungen) als gleichwertig. In der Praxis variiert jedoch die Wahrscheinlichkeit, dass ein Testfall einen Fehler in einem Codeelement aufdeckt: Einige Fehler werden leichter erkannt als andere. Daher haben mehrere Forscher vorgeschlagen, dass man, wenn man die Wahrscheinlichkeit schätzen könnte, dass ein Fehler in einem Codeelement einen Ausfall verursacht, diese Schätzung verwenden könnte, um die Anzahl der Ausführungen eines Codeelements zu bestimmen, die erforderlich sind, um ein gewisses Maß an Vertrauen in die Korrektheit dieses Elements zu erreichen. Diese Schätzung könnte wiederum verwendet werden, um die Effektivität der Fehlererkennung von Test-Suites zu verbessern und Testern zu helfen, Testressourcen effektiver zu verteilen. Diese Vermutung ist faszinierend; jedoch wurde sie, wie viele solcher Vermutungen, nie direkt empirisch untersucht. Wenn empirische Beweise diese Vermutung unterstützen würden, würde dies weitere Forschungen zu Methoden zur Erlangung von Schätzungen des Fehlerexpositionspotenzials und deren Einbeziehung in die Kriterien zur Angemessenheit von Testdaten anregen. Dieses Papier berichtet über die Ergebnisse von Experimenten, die durchgeführt wurden, um die Auswirkungen der Einbeziehung einer Schätzung der Fehlerexpositionswahrscheinlichkeit in das Kriterium zur Angemessenheit der Statement-Coverage-Testdaten zu untersuchen. Die Ergebnisse dieser Experimente gingen jedoch den Vermutungen früherer Forscher entgegen. Obwohl die Einbeziehung der Schätzungen statistisch signifikante Steigerungen der Fehlererkennungseffektivität von Test-Suites ergab, waren diese Steigerungen recht gering, was darauf hindeutet, dass der Ansatz möglicherweise nicht die erhofften Gewinne erzielen kann und möglicherweise die Kosten seines Einsatzes nicht wert ist. Copyright © 2002 John Wiley & Sons, Ltd.