FedTGP: Trainierbare globale Prototypen mit adaptivem margenenhancierten kontrastivem Lernen für Daten- und Modellheterogenität im föderierten Lernen

In letzter Zeit hat heterogenes föderiertes Lernen (HtFL) aufgrund seiner Fähigkeit, heterogene Modelle und Daten zu unterstützen, Aufmerksamkeit erregt. Um die hohen Kommunikationskosten für die Übertragung von Modellparametern, eine große Herausforderung im HtFL, zu reduzieren, werden prototypbasierte HtFL-Methoden vorgeschlagen, die ausschließlich Klassenvertreter, auch bekannt als Prototypen, zwischen heterogenen Clients teilen und dabei die Privatsphäre der Modelle der Clients wahren. Diese Prototypen werden jedoch naiv auf dem Server in globale Prototypen aggregiert, was zu suboptimalem globalem Wissen führt, das die Leistung der Clients negativ beeinflusst. Um diese Herausforderung zu überwinden, stellen wir einen neuartigen HtFL-Ansatz namens FedTGP vor, der unser adaptiv margenenhanced kontrastives Lernen (ACL) nutzt, um trainierbare globale Prototypen (TGP) auf dem Server zu lernen. Durch die Einbeziehung von ACL verbessert unser Ansatz die Trennbarkeit der Prototypen und bewahrt gleichzeitig die semantische Bedeutung. Umfassende Experimente mit zwölf heterogenen Modellen zeigen, dass unser FedTGP die aktuellen Methoden um bis zu 9,08 % in der Genauigkeit übertrifft und dabei die Kommunikations- und Privatsphäre-Vorteile des prototypbasierten HtFL bewahrt. Unser Code ist verfügbar unter https://github.com/TsingZ0/FedTGP.