स्ट्रेच न्यूरल नेटवर्क के लिए बेयसियन ऑप्टिमिजेशन जिसमें ट्रेन योग्य सक्रियण फ़ंक्शन होते हैं

डीप न्यूरल नेटवर्क्स पर साहित्य में, सक्रियण फ़ंक्शनों के विकास में काफी रुचि है जो न्यूरल नेटवर्क प्रदर्शन को बढ़ा सकते हैं। हाल के वर्षों में, ऐसे सक्रियण फ़ंक्शनों की प्रस्तावना में नए वैज्ञानिक रुचि आई है जिन्हें सीखने की प्रक्रिया के दौरान प्रशिक्षित किया जा सकता है, क्योंकि वे नेटवर्क प्रदर्शन में सुधार करते हैं, विशेष रूप से ओवरफिटिंग को कम करके। इस पेपर में, हम एक ट्रेन योग्य सक्रियण फ़ंक्शन का प्रस्ताव करते हैं जिसका पैरामीटर का आकलन किया जाना आवश्यक है। सीखने के डेटा से मॉडल के वजन और सक्रियण फ़ंक्शन के पैरामीटर दोनों का स्वचालित रूप से आकलन करने के लिए एक पूर्ण बेयसियन मॉडल विकसित किया गया है। अनुमान बनाने के लिए एक MCMC-आधारित ऑप्टिमाइजेशन योजना विकसित की गई है। प्रस्तावित विधि उपरोक्त समस्याओं को हल करने और वैश्विक अधिकतम तक पहुँचने की गारंटी देने वाली एक प्रभावी नमूना योजना का उपयोग करके संगम समय में सुधार करने के लिए लक्षित है। प्रस्तावित योजना को तीन अलग-अलग CNNs के साथ तीन डेटासेट्स पर परीक्षण किया गया है। आशाजनक परिणाम दर्शाते हैं कि हमारे द्वारा प्रस्तावित दृष्टिकोण को सक्रियण फ़ंक्शन और पैरामीटर के बेयसियन आकलन के कारण मॉडल सटीकता में सुधार करने में उपयोगी है।