न्यूरल नेटवर्क में गहराई विभाजन: आयाम को सटीकता से अलग करना

हम गहराई 2 और गहराई 3 न्यूरल नेटवर्क के बीच एक निरपेक्ष विभाजन साबित करते हैं, जब एक O (1) -Lipschitz लक्षित फ़ंक्शन का निरंतर सटीकता के लिए अनुमान करते हैं, 0, 1^d के समर्थन के साथ एक वितरण के सन्दर्भ में, जो कि निरपेक्ष सीमित भार मानने पर। यह safran2019depth में प्रस्तुत एक खुली समस्या को संबोधित करता है, और साबित करता है कि आयाम की शाप गहराई 2 के अनुमान में प्रकट होती है, भले ही लक्षित फ़ंक्शन को गहराई 3 का उपयोग करके कुशलता से प्रस्तुत किया जा सके। पहले, गहराई 2 को गहराई 3 से अलग करने के लिए जो निम्न सीमाएँ उपयोग की जाती थीं, उन्हें यह आवश्यक था कि कम से कम एक Lipschitz पैरामीटर, लक्षित सटीकता या (अनुमान की डोमेन के आकार का कुछ माप) इनपुट आयाम के साथ बहुपदिक रूप से मापे। जबकि हम पहले दो को तय करते हैं और अपने डोमेन को इकाई हायपरक्यूब तक सीमित करते हैं। हमारी निम्न सीमा कई सक्रियण फ़ंक्शनों के लिए मान्य है, और एक औसत-से-गरीबतम-किस्म के यादृच्छिक आत्म-घटान तर्क के नए अनुप्रयोग पर आधारित है, समस्या को थ्रेशोल्ड सर्किट की निम्न सीमाओं तक घटित करने के लिए।