न्यूरल नेटवर्क्स को आत्मविश्वासित आउटपुट वितरणों को दण्डित करके नियमित करना

हम व्यवस्थित रूप से न्यूरल नेटवर्क्स को कम एंट्रॉपी आउटपुट वितरणों को दण्डित करके नियमित करने की खोज करते हैं। हम दिखाते हैं कि कम एंट्रॉपी आउटपुट वितरणों को दण्डित करना, जिसे सुदृढीकरण सीखने में अन्वेषण में सुधार के लिए दिखाया गया है, पर्यवेक्षित सीखने में एक मजबूत नियमितीकरण करने वाला के रूप में कार्य करता है। इसके अलावा, हम अधिकतम एंट्रॉपी आधारित आत्मविश्वास दंड को लेबल स्मूथिंग से KL डाइवर्जेंस के दिशा के माध्यम से जोड़ते हैं। हम 6 सामान्य मानकों पर प्रस्तावित आत्मविश्वास दंड और लेबल स्मूथिंग का Exhaustively मूल्यांकन करते हैं: छवि वर्गीकरण (MNIST और Cifar-10), भाषा मॉडलिंग (Penn Treebank), मशीन अनुवाद (WMT'14 अंग्रेजी-से-जर्मन), और भाषण पहचान (TIMIT और WSJ)। हम पाते हैं कि दोनों लेबल स्मूथिंग और आत्मविश्वास दंड मानकों में सर्वोत्तम मॉडल को सुधारते हैं बिना मौजूदा हाईपरपैरामीटर को संशोधित किए, जो इन नियमितकर्ताओं की व्यापक उपयुक्तता का सुझाव देते हैं।