क्या न्यूरॉन कवरेज गहरे तंत्रिका नेटवर्क के परीक्षण के लिए एक महत्वपूर्ण माप है?

गहन शिक्षण प्रणाली के परीक्षण के लिए हाल के प्रयास ने न्यूरॉन कवरेज (NC) नामक एक सहज और आकर्षक परीक्षण मानदंड उत्पन्न किया है, जो परंपरागत कोड कवरेज की अवधारणा के समान है। NC एक तंत्रिका नेटवर्क में सक्रिय न्यूरॉन्स का अनुपात मापता है और यह निहित रूप से माना जाता है कि NC बढ़ाने से परीक्षण सूट की गुणवत्ता में सुधार होता है। हम स्वचालित रूप से एक ऐसा परीक्षण सूट उत्पन्न करने के प्रयास में हैं जो NC बढ़ाता है, हम एक नवीन विविधता को बढ़ावा देने वाले नियमितीकरणकर्ता का डिजाइन करते हैं जिसे मौजूदा प्रतिकूल हमला एल्गोरिदम में जोड़ा जा सकता है। हम यह आकलन करते हैं कि क्या NC बढ़ाने के ऐसे प्रयास एक परीक्षण सूट उत्पन्न कर सकते हैं जो (1) प्रतिकूल हमलों का सफलतापूर्वक पता लगाता है, (2) प्राकृतिक इनपुट उत्पन्न करता है, और (3) विशेष वर्ग भविष्यवाणियों के प्रति पक्षपाती नहीं है। अपेक्षा के विपरीत, हमारा व्यापक मूल्यांकन यह खोजता है कि NC बढ़ाने से वास्तव में एक प्रभावी परीक्षण सूट उत्पन्न करना कठिन हो जाता है: उच्च न्यूरॉन कवरेज का मतलब है कम दोषों का पता लगाना, कम प्राकृतिक इनपुट, और अधिक पक्षपाती भविष्यवाणी प्राथमिकताएँ। हमारे परिणाम यह संदेह उत्पन्न करते हैं कि न्यूरॉन कवरेज बढ़ाना गहरे तंत्रिका नेटवर्क के लिए परीक्षण उत्पन्न करने का एक महत्वपूर्ण उद्देश्य नहीं हो सकता है और यह सुझाव देते हैं कि परीक्षण उत्पन्न करने की एक नई तकनीक की आवश्यकता है जो दोष पहचान, प्राकृतिकता, और आउटपुट निष्पक्षता को एक साथ ध्यान में रखे।