न्यूरल टैंजेंट कर्णेल: न्यूरल नेटवर्क्स में समावेशन और सामान्यीकरण

आरंभिक अवस्था में, कृत्रिम न्यूरल नेटवर्क (ANNs) असीम-चौड़ाई सीमा में गॉसियन प्रक्रियाओं के बराबर होते हैं, इस प्रकार इन्हें कर्णेल विधियों से जोड़ते हैं। हम सिद्ध करते हैं कि प्रशिक्षण के दौरान ANN का विकास एक कर्णेल द्वारा भी वर्णित किया जा सकता है: ANN के पैरामीटर पर ग्रेडिएंट_DESCENT के दौरान, नेटवर्क फ़ंक्शन f_θ (जो इनपुट वेक्टरों को आउटपुट वेक्टरों में मैप करता है) कार्यात्मक लागत के कर्णेल ग्रेडिएंट का अनुसरण करता है (जो उत्तल होता है, पैरामीटर लागत के विपरीत) नए कर्णेल के सापेक्ष: न्यूरल टैंजेंट कर्णेल (NTK)। यह कर्णेल ANNs की सामान्यीकरण विशेषताओं को वर्णित करने में केंद्रीय है। जबकि NTK आरंभिक अवस्था में यादृच्छिक होता है और प्रशिक्षण के दौरान भिन्न होता है, असीम-चौड़ाई सीमा में यह एक स्पष्ट सीमित कर्णेल में समाहित हो जाता है और प्रशिक्षण के दौरान स्थिर रहता है। यह ANNs के प्रशिक्षण का अध्ययन फ़ंक्शन स्पेस में करने की अनुमति देता है बजाय पैरामीटर स्पेस के। प्रशिक्षण की समावेशन तब सीमित NTK की सकारात्मक-निष्कर्षता से संबंधित हो सकती है। जब डेटा गोलाकार पर समर्थित होता है और गैर-रेखीयता गैर-बहुपद होती है, तो हम सीमित NTK की सकारात्मक-निष्कर्षता को सिद्ध करते हैं। फिर हम सबसे छोटे वर्ग रिग्रेशन की सेटिंग पर ध्यान केंद्रित करते हैं और दिखाते हैं कि असीम-चौड़ाई सीमा में, नेटवर्क फ़ंक्शन f_θ प्रशिक्षण के दौरान एक रेखीय विभेदक समीकरण का पालन करता है। समावेशन सामग्री में सबसे बड़े कर्णेल प्रमुख घटकों के संबंध में सबसे तेज़ है, जिससे आरंभिक रुकने के लिए एक सैद्धांतिक प्रेरणा का सुझाव मिलता है। अंततः हम NTK का संख्यात्मक अध्ययन करते हैं, चौड़े नेटवर्क के लिए इसके व्यवहार का अवलोकन करते हैं, और इसे असीम-चौड़ाई सीमा की तुलना में रखते हैं।