Dubhe: Auf dem Weg zu Datenunabhängigkeit mit homomorpher Verschlüsselung in der Client-Auswahl des föderierten Lernens

Föderiertes Lernen (FL) ist ein verteiltes Paradigma des maschinellen Lernens, bei dem Clients collaboratively ein Modell über ihre eigenen lokalen Daten trainieren können. FL verspricht die Privatsphäre der Clients und seine Sicherheit kann durch kryptographische Methoden wie additive homomorphe Verschlüsselung (HE) verstärkt werden. Allerdings könnte die Effizienz von FL ernsthaft unter der statistischen Heterogenität sowohl der Diskrepanz in der Datenverteilung unter den Clients als auch der globalen Verteilungsschiefe leiden. Wir zeigen mathematisch die Ursache für die Leistungsverschlechterung in FL und untersuchen die Leistung von FL über verschiedene Datensätze. Um das Problem der statistischen Heterogenität zu bekämpfen, schlagen wir eine modulare systemweite Client-Auswahlmethode namens Dubhe vor, die es Clients ermöglicht, proaktiv am Training teilzunehmen, während sie gleichzeitig ihre Privatsphäre mit der Unterstützung von HE wahren. Experimentelle Ergebnisse zeigen, dass Dubhe in Bezug auf die Klassifikationsgenauigkeit mit der optimalen gierigen Methode vergleichbar ist, mit vernachlässigbarem Verschlüsselungs- und Kommunikationsaufwand.