शोर भरे लेबल के साथ गहरे शिक्षण के लिए सामान्यीकृत हानि कार्य

मजबूत हानि कार्य शोर (गलत) लेबल की उपस्थिति में सटीक गहरे न्यूरल नेटवर्क (डीएनएन) को प्रशिक्षित करने के लिए आवश्यक हैं। यह दिखाया गया है कि सामान्यतः प्रयुक्त क्रॉस एंट्रोपी (सीई) हानि शोर भरे लेबल के प्रति मजबूत नहीं है। जबकि नए हानि कार्य डिज़ाइन किए गए हैं, वे केवल आंशिक रूप से मजबूत होते हैं। इस पेपर में, हम सिद्धांतात्मक रूप से दिखाते हैं कि एक साधारण सामान्यीकरण लागू करके: कोई भी हानि शोर भरे लेबल के प्रति मजबूत बनाई जा सकती है। हालाँकि, व्यावहारिकता में, केवल मजबूत होना एक हानि कार्य के लिए सटीक डीएनएन को प्रशिक्षित करने के लिए पर्याप्त नहीं है। कई मजबूत हानि कार्यों की जांच करने पर, हम पाते हैं कि वे अंडरफिटिंग की समस्या का सामना करते हैं। इसे संबोधित करने के लिए, हम एक ढाँचा प्रस्तावित करते हैं जिसे एक्टिव पैसिव लॉस (एपीएल) कहा जाता है। एपीएल दो मजबूत हानि कार्यों को संयोजित करता है जो आपस में एक-दूसरे को बढ़ावा देते हैं। बेंचमार्क डेटासेट पर प्रयोग दिखाते हैं कि हमारे एपीएल ढाँचे द्वारा निर्मित नए हानि कार्यों का परिवार बड़े मार्जिन के साथ नवीनतम विधियों को लगातार पार कर सकता है, विशेष रूप से 60% या 80% गलत लेबल जैसे बड़े शोर दरों के तहत।