Agrégation efficace en communication et préservant la confidentialité dans l'apprentissage fédéré avec adaptabilité

L'apprentissage fédéré (FL) vise à protéger la confidentialité des données tout en agrégant les modèles. Les travaux existants ne se concentrent que rarement simultanément sur les trois enjeux que sont l'efficacité de la communication, la confidentialité et l'utilité, qui sont les trois principaux défis de FL. Plus précisément, des informations sensibles sur les données d'entraînement peuvent encore être déduites à partir des paramètres de modèle partagés dans FL. Ces dernières années, la confidentialité différentielle (DP) a été appliquée en FL pour protéger la confidentialité des données. Le défi de l’implémentation de DP en FL réside dans l'impact nuisible du bruit lié à la confidentialité différentielle sur la précision du modèle. Ce bruit DP affecte la convergence du modèle, entraînant un surcoût de communication supplémentaire. En outre, compte tenu des coûts de communication intrinsèquement élevés du FL, le processus FL peut être inefficace voire infaisable. En vue de cela, nous proposons un nouveau schéma d'apprentissage fédéré différentiellement privé (DPFL) nommé Adap-FedITK, qui vise à obtenir un faible surcoût de communication et une haute précision du modèle tout en garantissant la DP au niveau client. Plus précisément, nous ajustons dynamiquement le seuil de découpage des gradients pour différents clients à chaque ronde, en fonction de l'hétérogénéité des gradients. Cette approche vise à atténuer l'impact négatif de DP et à atteindre un compromis confidentialité-utilité. Pour alléger le problème du surcoût de communication élevé en FL, nous introduisons un algorithme Top-k amélioré, qui utilise la sparsité et la quantification pour compresser le modèle, élimine la redondance de communication et intègre également des techniques de codage pour réduire davantage la communication. Des résultats expérimentaux étendus démontrent que notre méthode réalise le compromis confidentialité-utilité et améliore l'efficacité de la communication tout en assurant un DPFL au niveau client.