Föderiertes Lernen durch Posterior-Averaging: Eine neue Perspektive und praktische Algorithmen

Föderiertes Lernen wird typischerweise als Optimierungsproblem betrachtet, bei dem das Ziel darin besteht, eine globale Verlustfunktion zu minimieren, indem die Berechnungen auf Client-Geräte verteilt werden, die über lokale Daten verfügen und verschiedene Teile des globalen Ziels spezifizieren. Wir präsentieren eine alternative Perspektive und formulieren das föderierte Lernen als ein Posterior-Inferenzproblem, bei dem das Ziel darin besteht, eine globale posteriori Verteilung zu inferieren, indem jedes Client-Gerät das Posterior seiner lokalen Daten ableitet. Während die exakte Inferenz oft unpraktisch ist, bietet diese Perspektive einen prinzipiellen Ansatz zur Suche nach globalen Optima in föderierten Einstellungen. Darüber hinaus entwickeln wir, beginnend mit der Analyse föderierter quadratischer Ziele, einen rechen- und kommunikationseffizienten Annäherungsalgorithmus für die Posterior-Inferenz – Föderiertes Posterior-Averaging (FedPA). Unser Algorithmus verwendet MCMC für die Annäherungsinferenz von lokalen Posteriors auf den Clients und kommuniziert deren Statistiken effizient an den Server, der diese nutzt, um eine globale Schätzung des posterioren Modus zu verfeinern. Schließlich zeigen wir, dass FedPA das föderierte Averaging (FedAvg) verallgemeinert, ähnlich von adaptiven Optimierern profitieren kann und auf vier realistischen und herausfordernden Benchmarks erstklassige Ergebnisse erzielt, schneller konvergiert und bessere Optima erreicht.