स्केलिंग के माध्यम से अनुकूलनशीलता के साथ स्थानीय विधियाँ

मशीन लर्निंग और डीप लर्निंग के तेज विकास ने increasingly जटिल अनुकूलन चुनौतियों को जन्म दिया है जिनका समाधान किया जाना आवश्यक है। वास्तव में, आधुनिक, उन्नत मॉडलों को प्रशिक्षित करना बिना वितरण वातावरण में कई कंप्यूटिंग नोड्स का लाभ उठाए लागू करना कठिन हो गया है। वितरणीय अनुकूलन नवागंतुक क्षेत्रों जैसे कि संघीय शिक्षा का भी मौलिक हिस्सा है। विशिष्ट रूप से, संचार के कारण समय की हानि को कम करने के लिए प्रशिक्षण प्रक्रिया का आयोजन करने की आवश्यकता है। संचार ठहराव को कम करने के लिए एक व्यापक रूप से उपयोग की जाने वाली और व्यापक रूप से शोधित तकनीक में संचार से पहले स्थानीय प्रशिक्षण को करना शामिल है। यह दृष्टिकोण हमारे पेपर का केंद्र बिंदु है। साथ ही, अनुकूली विधियों ने, जो विशेष रूप से एडेैम द्वारा संचालित हैं, हाल के वर्षों में महत्वपूर्ण लोकप्रियता हासिल की है। इसलिए, यह पेपर स्थानीय प्रशिक्षण तकनीक को अनुकूली दृष्टिकोण के साथ मिलाकर प्रभावी वितरणीय लर्निंग विधियों को विकसित करने का लक्ष्य रखता है। हम क्लासिकल स्थानीय SGD विधि पर विचार करते हैं और इसे एक स्केलिंग विशेषता के साथ बढ़ाते हैं। एक महत्वपूर्ण पक्ष यह है कि स्केलिंग को सामान्य रूप से वर्णित किया जाता है, जिससे हम विभिन्न दृष्टिकोणों का विश्लेषण कर सकें, जिसमें एडेाम, RMSProp, और OASIS शामिल हैं, एक एकीकृत तरीके से। सैद्धांतिक विश्लेषण के अलावा, हम एक न्यूरल नेटवर्क को प्रशिक्षित करके अपने तरीकों के प्रदर्शन को व्यवहार में मान्य करते हैं।