FedMAP: Potenziale im personalisierten föderierten Lernen durch bi-level MAP-Optimierung erschließen

Föderiertes Lernen (FL) ermöglicht das kollektive Training von Maschinenlernmodellen auf dezentralen Daten, während die Datensicherheit gewahrt bleibt. Allerdings unterscheiden sich die Daten zwischen den Klienten häufig erheblich aufgrund von Klassenungleichgewicht, Verzerrung der Merkmalsverteilung, Ungleichgewicht in der Stichprobengröße und anderen Phänomenen. Die Nutzung von Informationen aus diesen nicht identisch verteilten (non-IID) Datensätzen stellt erhebliche Herausforderungen dar. FL-Methoden, die auf einem einzigen globalen Modell basieren, können die Variationen in den Klientendaten nicht effektiv erfassen und schneiden in nicht-IID-Einstellungen schlecht ab. Folglich sind personalisierte FL (PFL)-Ansätze, die sich an die Datenverteilung jedes Klienten anpassen, jedoch die Daten anderer Klienten nutzen, unerlässlich, aber derzeit unzureichend erforscht. Wir schlagen ein neuartiges bayesianisches PFL-Framework vor, das eine bi-level Optimierung nutzt, um die Herausforderungen der Datenheterogenität anzugehen. Unser vorgeschlagenes Framework nutzt das globale Modell als a priori-Verteilung innerhalb einer Maximum A Posteriori (MAP)-Schätzung personalisierter Klientenmodelle. Dieser Ansatz erleichtert PFL, indem er das geteilte Wissen aus dem a priori integriert und damit die Leistung des lokalen Modells, die Generalisierungsfähigkeit und die Kommunikations-effizienz erhöht. Wir haben unseren Ansatz zur bi-level Optimierung umfassend auf realen und synthetischen Datensätzen evaluiert und signifikante Verbesserungen in der Modellgenauigkeit im Vergleich zu bestehenden Methoden gezeigt, während der Kommunikationsaufwand verringert wurde. Diese Studie trägt zu PFL bei, indem sie eine solide theoretische Grundlage für die vorgeschlagene Methode schafft und ein robustes, einsatzbereites Framework anbietet, das die Herausforderungen durch nicht-IID-Daten im FL effektiv angeht.