Ein Ende-zu-Ende-verschlüsseltes neuronales Netzwerk für die Übertragung von Gradient Updates im föderierten Lernen

Föderiertes Lernen ist eine verteilte Lernmethode, um ein gemeinsames Modell zu trainieren, indem die lokal berechneten Gradient Updates aggregiert werden. Im föderierten Lernen sind Bandbreite und Datenschutz zwei Hauptanliegen bei der Übertragung von Gradient Updates. Dieses Papier schlägt ein Ende-zu-Ende-verschlüsseltes neuronales Netzwerk für die Übertragung von Gradient Updates vor. Dieses Netzwerk kodiert zunächst die Eingangsgradient Updates in einen niederdimensionalen Raum in jedem Client, was den Druck der Datenkommunikation im föderierten Lernen erheblich verringert. Die kodierten Gradient Updates werden als Ganzes, d.h. die aggregierten Gradient Updates des trainierten Modells, in den Decodierungsschichten des Netzwerks auf dem Server direkt wiederhergestellt. Auf diese Weise werden die in jedem Client verschlüsselten Gradient Updates nicht nur während der Kommunikation vor Abfangung geschützt, sondern sind auch dem Server unbekannt. Auf der Grundlage des verschlüsselten neuronalen Netzwerks wird ein neuartiges föderiertes Lernframework für reale Anwendungen entworfen. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Netzwerk effektiv zwei Ziele erreichen kann: Datenschutz und Datenkompression, bei nur geringfügigen Einbußen der Modellgenauigkeit im föderierten Lernen.