नियमितता प्रतिबंधित, अधिक-पैरामीटरित, दो-परत न्यूरल नेटवर्क के साथ सीखना

हाल के अध्ययनों से पता चलता है कि एक पुनरुत्पादक कर्नेल हिल्बर्ट स्पेस (RKHS) न्यूरल नेटवर्क द्वारा कार्यों को मॉडल करने के लिए उपयुक्त स्थान नहीं है क्योंकि आयामीय शाप (CoD) से बचा नहीं जा सकता जब एक ही ReLU न्यूरॉन (बच, 2017) का अनुमोदन करने का प्रयास किया जाता है। इस पेपर में, हम सीमित मान (जैसे, पथ मान, बैरन मान) वाली अधिक-पैरामीटरित दो-परत न्यूरल नेटवर्क के लिए एक उपयुक्त कार्य स्थान का अध्ययन करते हैं जो नमूना जटिलता और सामान्यीकरण विशेषताओं के दृष्टिकोण में है। सबसे पहले, हम यह दिखाते हैं कि पथ मान (जैसे बैरन मान) चौड़ाई-स्वतंत्र नमूना जटिलता सीमाएं प्राप्त करने में सक्षम है, जो समान रूप से सम्राज्य के गारंटी की अनुमति देता है। इस परिणाम के आधार पर, हम O (^-2d{d+2}) तक के कवरिंग के लिए मेट्रिक एंट्रॉपी का सुधारित परिणाम व्युत्पन्न करते हैं (d इनपुट आयाम है और निर्भर करने वाला स्थिरांक अधिकतम d के बहुपद क्रम का होता है) उत्तल गुंबद तकनीक के माध्यम से, जो बैरन स्पेस में लक्षित कार्य को सीखने के लिए कर्नेल विधियों के साथ (^-d) से विभाजन को दर्शाता है। दूसरे, यह मेट्रिक एंट्रॉपी परिणाम एक सामान्य क्षण परिकल्पना सेटिंग के तहत एक तेज सामान्यीकरण सीमा बनाने की अनुमति देता है, O (n^-d+2{2d+2}) पर दर को प्राप्त करता है। हमारा विश्लेषण नवीन है क्योंकि यह मेट्रिक एंट्रॉपी के लिए एक तेज और सुधारित अनुमान प्रदान करता है (जो आयाम d पर स्पष्ट निर्भरता संबंध के साथ) और नमूना त्रुटि और आउटपुट त्रुटि के अनुमान में असीमित नमूने की अनुमति देता है।