Sur la convergence de l'apprentissage fédéré clusterisé

Le partage de connaissances et la personnalisation des modèles sont des composants essentiels pour relever le défi non-IID dans l'apprentissage fédéré (FL). La plupart des méthodes FL existantes se concentrent sur deux extrêmes : 1) apprendre un modèle partagé pour servir tous les clients avec des données non-IID, et 2) apprendre des modèles personnalisés pour chaque client, à savoir l'apprentissage fédéré personnalisé. Il existe une solution de compromis, à savoir l'apprentissage fédéré clusterisé ou l'apprentissage fédéré personnalisé par cluster, qui vise à regrouper des clients similaires dans un même cluster, puis à apprendre un modèle partagé pour tous les clients au sein d'un cluster. Cet article a pour but de revisiter la recherche sur l'apprentissage fédéré clusterisé en les formulant dans un cadre d'optimisation à deux niveaux qui pourrait unifier les méthodes existantes. Nous proposons un nouveau cadre d'analyse théorique pour prouver la convergence en tenant compte de la clusterabilité parmi les clients. De plus, nous incarnons ce cadre dans un algorithme, nommé Apprentissage Fédéré Clusterisé Pondéré (WeCFL). L'analyse empirique vérifie les résultats théoriques et démontre l'efficacité du WeCFL proposé dans les réglages non-IID par cluster proposés.