आलसी (NTK) और समृद्ध (P) शासन: एक सरल ट्यूटोरियल

आधुनिक मशीन लर्निंग पद्धति का एक केंद्रीय विषय यह है कि बड़े न्यूरल नेटवर्क विभिन्न मेट्रिक्स पर बेहतर प्रदर्शन हासिल करते हैं। इन ओवरपैरामीट्राइज्ड मॉडलों का सिद्धांतिक विश्लेषण हाल ही में बहुत चौड़े न्यूरल नेटवर्क का अध्ययन करने के चारों ओर केंद्रित हो गया है। इस ट्यूटोरियल में, हम निम्नलिखित तथ्य का एक गैर-कठोर लेकिन वर्णनात्मक व्युत्पत्ति प्रदान करते हैं: चौड़े नेटवर्क को प्रभावी रूप से प्रशिक्षित करने के लिए, हाइपरपैरामीटर्स जैसे कि लर्निंग रेट और प्रारंभिक वजन के आकार को चुनने में केवल एक डिग्री ऑफ फ्रीडम होती है। यह डिग्री ऑफ फ्रीडम प्रशिक्षण व्यवहार की समृद्धि को नियंत्रित करती है: न्यूनतम पर, चौड़ा नेटवर्क कर्नेल मशीन की तरह आलसी प्रशिक्षण करता है, और अधिकतम पर, यह तथाकथित P शासन में फीचर लर्निंग प्रदर्शित करता है। इस पेपर में, हम इस समृद्धि स्केल को समझाते हैं, हाल के शोध परिणामों को एक स्पष्ट रूप में संकलित करते हैं, नए दृष्टिकोण और अंतर्दृष्टियाँ प्रदान करते हैं, और हमारे दावों का समर्थन करने वाले अनुभवजन्य साक्ष्य प्रस्तुत करते हैं। ऐसा करते हुए, हम समृद्धि स्केल के आगे अध्ययन को प्रोत्साहित करने की आशा करते हैं, क्योंकि यह व्याव实践िक गहरे न्यूरल नेटवर्क में फीचर लर्निंग का वैज्ञानिक सिद्धांत विकसित करने के लिए कुंजी हो सकता है।