Selbstbalancierendes föderiertes Lernen mit global unausgewogenen Daten in mobilen Systemen

Föderiertes Lernen (FL) ist eine verteilte Methode des tiefen Lernens, die es mehreren Teilnehmern, wie mobilen und IoT-Geräten, ermöglicht, zu einem neuronalen Netzwerk beizutragen, während ihre privaten Trainingsdaten auf lokalen Geräten verbleiben. Dieser verteilte Ansatz ist vielversprechend in mobilen Systemen, die einen großen Korpus dezentraler Daten und hohe Datenschutzanforderungen haben. Im Gegensatz zu den üblichen Datensätzen ist die Datenverteilung in mobilen Systemen unausgewogen, was die Verzerrung des Modells erhöht. In diesem Artikel zeigen wir, dass unausgewogene verteilte Trainingsdaten zu einer Genauigkeitsminderung bei FL-Anwendungen führen. Um dieses Problem zu bekämpfen, haben wir ein selbstbalancierendes FL-Framework namens Astraea entwickelt, das die Ungleichgewichte durch 1) Z-Score-basierte Datenaugmentation und 2) Vermittler-basiertes Multiclient-Neuplanen verringert. Das vorgeschlagene Framework lindert das globale Ungleichgewicht durch adaptive Datenaugmentation und Unterabtastung und schafft einen Vermittler, um das Training der Clients basierend auf der Kullback-Leibler-Divergenz (KLD) ihrer Datenverteilung neu zu planen. Im Vergleich zu FedAvg, dem Standard-FL-Algorithmus, zeigt Astraea eine Verbesserung der Top-1-Genauigkeit um +4,39 und +6,51 Prozent bei den unausgewogenen EMNIST- und unausgewogenen CINIC-10-Datensätzen. Gleichzeitig wird der Kommunikationsverkehr von Astraea im Vergleich zu FedAvg um 75 Prozent reduziert.