Eine vereinfachte Konvergenztheorie für byzantinisch resistente stochastische Gradientenabstieg

Beim verteilten Lernen trainiert ein zentraler Server ein Modell anhand der von Knoten bereitgestellten Updates, die lokale Datenproben halten. In der Anwesenheit eines oder mehrerer böswilliger Server, die falsche Informationen senden (ein byzantinischer Gegner), scheitern Standardalgorithmen zum Training von Modellen wie stochastischer Gradientenabstieg (SGD) an der Konvergenz. In diesem Papier präsentieren wir eine vereinfachte Konvergenztheorie für die generische byzantinisch resistente SGD-Methode, die ursprünglich von Blanchard et al. (2017) vorgeschlagen wurde. Im Vergleich zu der bestehenden Analyse zeigen wir die Konvergenz zu einem stationären Punkt im Erwartungswert unter Standardannahmen zur (möglicherweise nicht-konvexen) Zielfunktion und flexiblen Annahmen zu den stochastischen Gradienten.