दुर्गम रेखा खोज ढांचे में संवेग पदों का प्रभावी रूप से उपयोग करना सीमित योग समस्याओं के तेजी से अनुकूलन के लिए

संक्षेप में इस कार्य में, हम बिना सीमा वाली सीमित योग अनुकूलन समस्याओं का समाधान करते हैं, विशेष ध्यान बड़े पैमाने पर गहरे सीखने के परिदृश्यों से उत्पन्न उदाहरणों पर है। हमारी मुख्य रुचि स्खिलन के क्षेत्र में संचित अनुकूलन के लिए हाल के रेखा खोज दृष्टिकोणों और संवेग दिशाओं के बीच संबंध की खोज करना है। पहले, हम यह बताते हैं कि इन दोनों तत्वों को संगणकीय लाभों के साथ जोड़ना सरल नहीं है। इस उद्देश्य के लिए, हम छोटी-बैच निरंतरता पर आधारित एक समाधान प्रस्तावित करते हैं। इसके बाद, हम एक एल्गोरिदम रूपरेखा प्रस्तुत करते हैं जो डेटा निरंतरता, संधारित-ग्रेडिएंट प्रकार के नियमों का मिश्रण करते हुए संवेग पैरामीटर की परिभाषा और स्खिलन रेखा खोजों का लाभ उठाती है। परिणामी एल्गोरिदम उपयुक्त धारणाओं के तहत संगम गुणधर्मों को साबित करता है और अनुभवजन्य रूप से अन्य लोकप्रिय तरीकों की तुलना में बेहतर प्रदर्शन करने के लिए दिखाया गया है, जो अद्वितीय और गैर-अविकृत बड़े पैमाने पर प्रशिक्षण समस्याओं में सर्वोत्तम परिणाम प्राप्त करता है।