FedAQ : Apprentissage Fédéré Économe en Communication via Quantification Adaptive Conjointe en Montée et Descente

L'apprentissage fédéré (FL) est un puissant paradigme d'apprentissage automatique qui exploite les données ainsi que les ressources computationnelles des clients, tout en protégeant la confidentialité des données des clients. Cependant, la taille considérable du modèle et l'agrégation fréquente entre le serveur et les clients entraînent des frais de communication significatifs, rendant difficile le déploiement du FL dans des réseaux sans fil à ressources limitées. Dans ce travail, nous visons à atténuer les frais de communication en utilisant la quantification. Des recherches antérieures sur la quantification se sont principalement concentrées sur la communication en montée, en utilisant soit des méthodes de quantification à bits fixes, soit des méthodes de quantification adaptatives. Dans ce travail, nous introduisons une approche holistique par quantification adaptative conjointe en montée et en descente pour réduire les frais de communication. En particulier, nous optimisons la convergence de l'apprentissage en déterminant la longueur de bit de quantification optimale en montée et en descente, avec une contrainte énergétique de communication. L'analyse théorique montre que les niveaux de quantification optimaux dépendent de l'intervalle des gradients ou des poids du modèle. Sur la base de cette idée, nous proposons une quantification en tendance décroissante pour la montée et une quantification en tendance croissante pour la descente, qui s'aligne avec le changement des paramètres du modèle pendant le processus d'entraînement. Les résultats expérimentaux montrent que la stratégie de quantification adaptive conjointe en montée et en descente proposée peut économiser jusqu'à 66,7 % d'énergie par rapport aux schémas existants.