FedGPD: Globale Prototyp-Destillation im heterogenen föderierten Lernen

Zusammenfassung: Föderiertes Lernen ist ein verteiltes maschinelles Lernparadigma, bei dem das Ziel darin besteht, ein qualitativ hochwertiges globales Modell gemeinsam zu trainieren, während private Trainingsdaten lokal über verteilte Clients verbleiben. Eine heterogene Datenverteilung über Clients stellt jedoch eine erhebliche Herausforderung für föderierte Lernsysteme dar, die die Qualität des Modells erheblich beeinträchtigt. Um diese Herausforderung zu bewältigen, wird die globale Prototyp-Destillation (FedGPD) für heterogenes föderiertes Lernen vorgeschlagen, um die Leistung des globalen Modells zu verbessern. Die Intuition ist, globale Klassenprototypen als Wissen zu nutzen, um das lokale Training auf der Client-Seite zu steuern. Letztendlich werden die lokalen Ziele mit den globalen Optima übereinstimmen, sodass FedGPD ein verbessertes globales Modell erlernt. Experimente zeigen, dass FedGPD frühere Stand der Technik-Methoden mit nur geringem Kommunikationsaufwand übertrifft.