変異スコアは実際の障害検出と相関していますか？

ソフトウェアテスト研究の実証的検証はますます変異体に依存するようになっています。この実践は、文献で報告されている変異体スコアと実際の障害検出との強い相関によって動機付けられています。それに対して、我々の研究は相関がテストスイートのサイズの混乱効果の結果であることを示しています。特に、我々は二つの独立変数、変異スコアとテストスイートのサイズ、及び一つの従属変数である（実際の）障害検出との関係を調査します。我々は、CoreBenchとDefects4Jという二つのデータセットを用い、大規模なCとJavaプログラムおよび実際の障害を持ち、テストスイートのサイズを制御した際に変異スコアと実際の障害検出の間のすべての相関が弱いという証拠を提供します。また、両方の独立変数が従属変数に有意に影響を与え、適合度が有意に改善されますが、全体的には予測力は相対的に低いこともわかります。変異スコアに基づいて上位にランク付けされたテストスイートの障害検出能力を測定することにより（同じサイズの無作為に選ばれたテストスイートに対して）、より高い変異スコアを達成することが障害検出を有意に改善することを発見しました。これらを総合すると、我々のデータは変異体がテストスイートの障害検出を改善するための良い指針を提供するが、障害検出との相関は弱いことを示唆しています。