Un cadre de communication et d'apprentissage joint pour l'apprentissage fédéré découpé hiérarchique

Contrairement aux méthodes s'appuyant sur un entraînement centralisé, les applications émergentes de l'Internet des objets (IoT) peuvent utiliser l'apprentissage fédéré (FL) pour former une variété de modèles afin d'améliorer les performances et de préserver la vie privée. Le FL nécessite l'entraînement distribué de modèles locaux sur des dispositifs, ce qui utilise beaucoup de puissance de traitement (c'est-à-dire, cycles CPU/sec). La plupart des dispositifs ont des limitations de puissance de calcul, comme les capteurs de température IoT. Une solution à ce problème est le FL découpé. Cependant, le FL découpé a ses problèmes, y compris un point de défaillance unique, des problèmes d'équité et un mauvais taux de convergence. Nous proposons un cadre nouveau, appelé FL découpé hiérarchique (HSFL), pour surmonter ces problèmes. En regroupant, notre cadre HSFL est construit. Des modèles partiels sont construits au sein de chaque groupe sur les dispositifs, le travail restant étant effectué sur les serveurs de périphérie. Chaque groupe effectue ensuite une agrégation locale à la périphérie après le calcul des modèles locaux. Les dispositifs finaux ont accès à un tel modèle agrégé en périphérie afin de pouvoir mettre à jour leurs modèles. Pour chaque groupe, un modèle HSFL agrégé unique en périphérie est produit par cette procédure après un certain nombre de tours. Partagés entre les serveurs de périphérie, ces modèles HSFL agrégés en périphérie sont ensuite agrégés pour produire un modèle global. De plus, nous proposons un problème d'optimisation qui prend en compte la précision locale relative (RLA) des dispositifs, la latence de transmission, l'énergie de transmission et la latence de calcul des serveurs de périphérie afin de réduire le coût du HSFL. Le problème formulé est un problème de programmation non linéaire à entiers mixtes (MINLP) et ne peut pas être résolu facilement. Pour relever ce défi, nous effectuons une décomposition du problème formulé pour obtenir des sous-problèmes. Ces sous-problèmes sont un problème d'allocation des ressources d'informatique en périphérie et la minimisation conjointe de la RLA, l'allocation des ressources sans fil, le déchargement de tâches, et la répartition de puissance de transmission. En raison de la nature convexe de l'informatique en périphérie, l'allocation des ressources est effectuée à l'aide d'un optimiseur convexe, contrairement à une approche de minimisation itérative des bornes supérieures successives (BSUM) pour la minimisation conjointe de la RLA, l'allocation des ressources, le déchargement de tâches, et la répartition de puissance de transmission. Enfin, nous présentons les résultats de l'évaluation des performances pour le schéma HSFL proposé.