DualFed : Profiter à la fois de la généralisation et de la personnalisation dans l'apprentissage fédéré via des représentations hiérarchiques

Dans l'apprentissage fédéré personnalisé (PFL), il est largement reconnu que réaliser à la fois une haute généralisation du modèle et une personnalisation efficace pose un défi significatif en raison de leur nature conflictuelle. En conséquence, les méthodes PFL existantes ne peuvent gérer qu'un compromis entre ces deux objectifs. Cela soulève une question intéressante : est-il faisable de développer un modèle capable d'atteindre ces deux objectifs simultanément ? Notre article apporte une réponse affirmative, et la clé réside dans l'observation que les modèles profonds présentent intrinsèquement des architectures hiérarchiques, qui produisent des représentations avec divers niveaux de généralisation et de personnalisation à différentes étapes. Une approche simple découlant de cette observation consiste à sélectionner plusieurs représentations de ces couches et à les combiner pour atteindre simultanément la généralisation et la personnalisation. Cependant, le nombre de représentations candidates est souvent énorme, ce qui rend cette méthode infeasible en raison des coûts computationnels élevés. Pour résoudre ce problème, nous proposons DualFed, une nouvelle méthode qui peut directement produire des représentations duales correspondant respectivement à la généralisation et à la personnalisation, simplifiant ainsi la tâche d'optimisation. Plus précisément, DualFed insère un réseau de projection personnalisé entre l'encodeur et le classificateur. Les représentations pré-projection peuvent capturer des informations généralisées partageables entre les clients, et les représentations post-projection sont efficaces pour capturer des informations spécifiques à la tâche sur les clients locaux. Cette conception minimise l'interférence mutuelle entre généralisation et personnalisation, atteignant ainsi une situation gagnant-gagnant. D'importantes expériences montrent que DualFed peut surpasser d'autres méthodes FL. Le code est disponible sur https://github.com/GuogangZhu/DualFed.