One-Bit Over-the-Air Aggregation für kommunikationseffizientes föderiertes Edge-Learning: Design und Konvergenzanalyse

Föderiertes Edge-Learning (FEEL) ist ein beliebtes Framework für das Modelltraining an einem Edge-Server unter Verwendung von Daten, die an Edge-Geräten (z. B. Smartphones und Sensoren) verteilt sind, ohne dabei deren Privatsphäre zu gefährden. Im FEEL-Framework übertragen Edge-Geräte regelmäßig hochdimensionale stochastische Gradienten an den Edge-Server, wo diese Gradienten aggregiert werden, um ein globales Modell zu aktualisieren. Wenn die Edge-Geräte dasselbe Kommunikationsmedium nutzen, führt der Mehrfachzugangskanal (MAC) von den Geräten zum Edge-Server zu einem Kommunikationsengpass. Um diesen Engpass zu überwinden, wurde kürzlich ein effizientes Breitband-Analogübertragungsschema vorgeschlagen, das die Aggregation von analog modulierten Gradienten (oder lokalen Modellen) über die Wellenform-Überlagerungs-Eigenschaft des drahtlosen Mediums beinhaltet. Allerdings macht die angenommene lineare analoge Modulation den Einsatz dieser Technik in modernen drahtlosen Systemen, die ausschließlich digitale Modulation verwenden, schwierig. Um dieses Problem anzugehen, schlagen wir in dieser Arbeit eine neuartige digitale Version der Breitband-Über-the-Air-Aggregation vor, die als One-Bit Breitband Digitale Aggregation (OBDA) bezeichnet wird. Das neue Schema umfasst eine Ein-Bit-Gradientenquantisierung gefolgt von digitaler quadraturamplitudmodulation (QAM) an den Edge-Geräten und einer Über-the-Air-Mehrheitsabstimmung basierten Dekodierung am Edge-Server. Wir bieten eine umfassende Analyse der Auswirkungen von feindlichen drahtlosen Kanälen (Kanalrauschen, Ausbleichen und Kanalabschätzungsfehler) auf die Konvergenzgeschwindigkeit des vorgeschlagenen FEEL-Schemas. Die Analyse zeigt, dass die Feindlichkeiten die Konvergenz des Lernprozesses verlangsamen, indem sie einen Skalierungsfaktor und einen Bias-Term in die Gradienten-Norm einführen. Wir zeigen jedoch, dass alle negativen Effekte verschwinden, wenn die Anzahl der teilnehmenden Geräte wächst, jedoch mit unterschiedlichen Raten für jede Art von Kanalfeindlichkeit.