अधिक प्रशिक्षित होना, नियमितीकरण और न्यूनतम की खोज, तंत्रिका नेटवर्क में अनुप्रयोग के साथ

इस पत्र में हम मानदंड न्यूनकरण की भूमिका पर चर्चा करते हैं, जिसे पैरामीटर अनुमान के एक साधन के रूप में देखा जा सकता है। अधिकांश पारंपरिक विधियाँ, जैसे अधिकतम संभावना और पूर्वानुमान त्रुटि पहचान, इन सिद्धांतों पर आधारित हैं। हालाँकि, कुछ हद तक आश्चर्यजनक रूप से, यह पता चलता है कि मानदंड के पूर्ण न्यूनतम बिंदु को खोजने का प्रयास हमेशा ‘अनुकूल’ नहीं होता। इसका कारण यह है कि 'रुकी हुई न्यूनकरण' (जहाँ इटरेशन पूर्ण न्यूनतम तक पहुँचने से पहले समाप्त हो गई हैं) लगभग उसी प्रकार की गुणधर्म रखती है जैसे नियमितीकरण का उपयोग करना (एक पैरामीट्रिक दंडात्मक टर्म जोड़ना)। नियमितीकरण के पैरामीटर अनुमानों की विविधता पर लाभकारी प्रभाव होने के बारे में जाना जाता है और यह 'विविधता योगदान' को कम करता है। यह 'अधिक प्रशिक्षित होना' के तंत्रिका नेटवर्क में अवधारणा को भी स्पष्ट करता है। तब कोई यह कैसे जानेगा कि इटरेशन कब समाप्त करना है? एक उपयोगी मानदंड यह होगा कि इटरेशन को तब रोका जाए जब मानदंड कार्य एक मान्यता डेटा सेट पर अब कम न हो। हालाँकि, इस पत्र में, हम दिखाते हैं कि इस तकनीक को व्यापक रूप से लागू करने से यह सचाई मिल सकती है कि परिणामी अनुमान कुल डेटा सेट के लिए एक अनियमित अनुमान है: अनुमान + मान्यता डेटा।