Föderiertes Lernen mit Proximalen Stochastischen Variance Reduzierten Gradienten-Algorithmen

Föderiertes Lernen (FL) ist eine schnell wachsende Technik des verteilten maschinellen Lernens, die die Teilnahme einer Vielzahl von Benutzergeräten umfasst. Während FL Vorteile in Bezug auf Datenschutz und die Fülle an nutzergenerierten Daten bietet, erschweren die Herausforderungen der Heterogenität der Daten und Geräte der Benutzer das Design von Algorithmen und die Konvergenzanalyse. Um diese Herausforderungen anzugehen, schlagen wir einen Algorithmus vor, der proximale stochastische Variance reduzierte Gradientmethoden für nicht-konvexes FL nutzt. Der vorgeschlagene Algorithmus besteht aus zwei geschachtelten Schleifen, die es den Benutzergeräten ermöglichen, ihre lokalen Modelle bis zu einem Genauigkeitsgrenzwert (innere Schleife) ungefähr zu aktualisieren, bevor sie diese lokalen Modelle an den Server zur globalen Modelleaktualisierung (äußere Schleife) senden. Wir charakterisieren die Konvergenzbedingungen sowohl für lokale als auch globale Modelleaktualisierungen und extrahieren verschiedene Erkenntnisse aus diesen Bedingungen durch die Parameterkontrolle des Algorithmus. Wir schlagen zudem vor, wie diese Parameter optimiert werden können, sodass die Trainingszeit von FL minimiert wird. Die experimentellen Ergebnisse validieren nicht nur die theoretische Konvergenz, sondern zeigen auch, dass der vorgeschlagene Algorithmus bestehende auf stochastischem Gradientenabstieg basierende Methoden hinsichtlich der Konvergenzgeschwindigkeit im FL-Setting übertrifft.