ZeroFL: स्थानीय पतलापन के साथ संघीय शिक्षण के लिए दक्ष ऑन-डिवाइस प्रशिक्षण

जब उपलब्ध हार्डवेयर मेमोरी और गणना की आवश्यकताओं को उच्च प्रदर्शन वाले मशीन लर्निंग मॉडलों को कुशलता से प्रशिक्षित करने के लिए पूरा नहीं कर सकता, तो प्रशिक्षण की गुणवत्ता या मॉडल की जटिलता में से किसी एक में समझौता करना आवश्यक होता है। संघीय शिक्षण (FL) में, नोड्स पारंपरिक सर्वर-ग्रेड हार्डवेयर की तुलना में कई गुना अधिक सीमित होते हैं और अक्सर बैटरी से चलते हैं, जिससे इस पैरेडाइम के तहत प्रशिक्षित किए जा सकने वाले मॉडलों की जटिलता पर गंभीरता से प्रतिबंध लगता है। जबकि अधिकांश शोध बेहतर सम्मिलन रणनीतियों को डिज़ाइन करने पर केंद्रित हैं ताकि समेकन दरों में सुधार हो सके और FL की संचार लागत को कम किया जा सके, ऑन-डिवाइस प्रशिक्षण को तेज करने के लिए कम प्रयास किए गए हैं। ऐसा चरण, जो सैकड़ों बार (यानी, हर राउंड) दोहराया जाता है और हजारों उपकरणों को शामिल कर सकता है, संघीय मॉडलों को प्रशिक्षित करने के लिए आवश्यक समय का अधिकांश भाग और ग्राहक पक्ष पर समग्र ऊर्जा खपत के लिए जिम्मेदार है। इस काम में, हम FL कार्यभार में प्रशिक्षण के समय पर पतलापन पेश करते समय उत्पन्न होने वाले अनोखे पहलुओं पर पहला अध्ययन प्रस्तुत करते हैं। हम फिर ZeroFL का प्रस्ताव रखते हैं, एक ढांचा जो ऑन-डिवाइस प्रशिक्षण को तेज करने के लिए अत्यधिक पतले ऑपरेशनों पर निर्भर करता है। ZeroFL के साथ और 95% पतलापन के साथ प्रशिक्षित मॉडल प्रतिस्पर्धी आधार रेखाओं की तुलना में 2.3% तक अधिक सटीकता प्राप्त करते हैं जो FL सेटिंग के लिए एक अत्याधुनिक पतला प्रशिक्षण ढांचे के अनुकूलन से प्राप्त होते हैं।