सामान्यीकृत-चिकने गैर-उपग्रह अनुकूलन में RMSProp और Adam के लिए समागम गारंटी जो आउवंन शोर विविधता के साथ है

यह पेपर गैर-उपग्रह अनुकूलन में RMSProp और Adam के लिए सबसे आरामदायक सहमति के तहत पहले सटीक समागम विश्लेषण प्रदान करता है, जो समन्वय-वार सामान्यीकृत चिकनाई और आंशिक शोर विविधता के लिए है। हम सबसे पहले RMSProp का विश्लेषण करते हैं, जो एडम का एक विशेष मामला है जिसमें अनुकूली लर्निंग दरें होती हैं लेकिन पहले क्रम का मोमेंटम नहीं होता है। विशेष रूप से, अनुकूली अपडेट के बीच निर्भरता, असीमित ग्रेडिएंट अनुमान और लिपचिट्ज स्थिरांक के कारण आने वाली चुनौतियों को हल करने के लिए, हम प्रदर्शित करते हैं कि अवरोह लेम्मा में पहला क्रम का पद समागम होता है और इसका हरनकर्ता ग्रेडिएंट मान के एक कार्य द्वारा ऊपरी सीमा में होता है। इस परिणाम के आधार पर, हम दिखाते हैं कि सही हाइपरपैरामीटर के साथ RMSProp एक -स्थिर बिंदु पर O (^-4) की पुनरावृत्ति जटिलता के साथ समागम होता है। फिर हम अपने विश्लेषण को एडम पर सामान्यीकृत करते हैं, जहां अतिरिक्त चुनौती ग्रेडिएंट और पहले क्रम के मोमेंटम के बीच असंगति के कारण होती है। हम अवरोह लेम्मा में पहले क्रम के पद पर एक नया ऊपरी सीमा विकसित करते हैं, जो भी ग्रेडिएंट मान के एक कार्य है। हम दिखाते हैं कि सही हाइपरपैरामीटर के साथ Adam एक -स्थिर बिंदु पर O (^-4) की पुनरावृत्ति जटिलता के साथ समागम होता है। RMSProp और Adam के लिए हमारी जटिलता परिणाम arjevani2023lower में स्थापित जटिलता की निचली सीमा से मेल खाते हैं।