FedHPL: Effizientes heterogenes föderiertes Lernen mit Prompt-Tuning und Logit-Destillation

Föderiertes Lernen (FL) ist ein beliebtes datenschutzfreundliches Paradigma, das es verteilten Clients ermöglicht, gemeinsam Modelle mit einem zentralen Server zu trainieren, während die Rohdaten lokal bleiben. In der Praxis führen unterschiedliche Modellarchitekturen, variierende Datenverteilungen und begrenzte Ressourcen der lokalen Clients unvermeidlich zu einer Verschlechterung der Modellleistung und einer Verlangsamung der Konvergenzgeschwindigkeit. Bestehende FL-Methoden können jedoch nur einige der oben genannten heterogenen Herausforderungen lösen und weisen offensichtliche Leistungsgrenzen auf. Bemerkenswerterweise wurde noch kein einheitliches Framework untersucht, um diese Herausforderungen zu überwinden. Daher schlagen wir FedHPL vor, ein parameter-effizientes, einheitliches föderiertes Lern-Framework für heterogene Einstellungen, das auf Prompt-Tuning und Logit-Destillation basiert. Konkret setzen wir ein lokales Prompt-Tuning-Schema ein, das eine geringe Anzahl von lernbaren visuellen Prompts nutzt, um das eingefrorene, vortrainierte Grundmodell effizient für nachgelagerte Aufgaben feinzujustieren, wodurch das Training beschleunigt und die Modellleistung unter begrenzten lokalen Ressourcen und Datenheterogenität verbessert wird. Darüber hinaus entwerfen wir ein globales Logit-Destillationsschema, um die Modellheterogenität zu bewältigen und das lokale Training zu steuern. Im Detail nutzen wir Logits, um implizit lokales Wissen zu erfassen, und gestalten einen gewichteten Wissensaggregationsmechanismus, um globale, client-spezifische Logits zu erzeugen. Wir bieten eine theoretische Garantie für die Verallgemeinerungsfehlergrenze für FedHPL. Die Experimente an verschiedenen Benchmark-Datensätzen unter unterschiedlichen Settings von Modellen und Daten zeigen, dass unser Framework die neuesten FL-Ansätze mit weniger Rechenaufwand undTrainingseinheiten übertrifft.