शोर भरे लेबल के साथ मजबूत सीखने के लिए सममित क्रॉस एंट्रोपी

शोर भरे लेबल की उपस्थिति में सटीक गहरे न्यूरल नेटवर्क (DNNs) को प्रशिक्षित करना एक महत्वपूर्ण और चुनौतीपूर्ण कार्य है। हालांकि शोर भरे लेबल के साथ सीखने के लिए कई दृष्टिकोण प्रस्तुत किए गए हैं, लेकिन कई खुली समस्याएं बनी हुई हैं। इस पत्र में, हम दिखाते हैं कि क्रॉस एंट्रोपी (CE) के साथ डीएनएन सीखना कुछ वर्गों ("आसान" वर्ग) पर शोर भरे लेबल के प्रति अति-फिटिंग का प्रदर्शन करता है, लेकिन और भी आश्चर्यजनक रूप से, यह कुछ अन्य वर्गों ("कठिन" वर्ग) पर महत्वपूर्ण कम सीखने की समस्या से भी ग्रस्त है। सहज रूप से, CE को कठिन वर्गों के सीखने को सुविधाजनक बनाने के लिए एक अतिरिक्त पद की आवश्यकता होती है, और अधिक महत्वपूर्ण, यह पद शोर सहिष्णु होना चाहिए, ताकि शोर भरे लेबल के प्रति अति-फिटिंग से बचा जा सके। सममित KL-डाइवर्जेंस से प्रेरित होकर, हम सममित क्रॉस एंट्रोपी लर्निंग (SL) के दृष्टिकोण का प्रस्ताव करते हैं, जो CE को एक शोर-रोबस्ट समकक्ष रिवर्स क्रॉस एंट्रोपी (RCE) के साथ सममित रूप से बढ़ाता है। हमारा प्रस्तावित SL दृष्टिकोण शोर वाले लेबल की उपस्थिति में CE की कम शिक्षण और अति-फिटिंग की समस्या दोनों को एक साथ संबोधित करता है। हम SL का एक सैद्धांतिक विश्लेषण प्रस्तुत करते हैं और विभिन्न बेंचमार्क और वास्तविक-विश्व डेटा सेट्स पर अनुभवजन्य रूप से दिखाते हैं कि SL सर्वोत्तम तरीकों से बेहतर प्रदर्शन करता है। हम यह भी दिखाते हैं कि SL को मौजूदा तरीकों में आसानी से शामिल किया जा सकता है ताकि उनके प्रदर्शन को और बढ़ाया जा सके।