Apprentissage décentralisé robuste face aux attaques byzantines via l'agrégation Remove-then-Clip

Nous considérons l'apprentissage décentralisé sur un réseau de travailleurs avec des ensembles de données hétérogènes, en présence de travailleurs byzantins. Les travailleurs byzantins peuvent transmettre des valeurs arbitraires ou malveillantes à des travailleurs voisins, entraînant une dégradation de la performance globale. La nature hétérogène des données d'entraînement à travers divers travailleurs complique l'identification et l'atténuation des travailleurs byzantins. Pour répondre à ce problème complexe, nous introduisons une approche d'apprentissage décentralisé résiliente qui combine l'algorithme de descente de gradient avec un nouvel agrégateur robuste. En particulier, nous proposons un agrégateur remove-then-clip, par lequel chaque travailleur bénin filtre méticuleusement les valeurs des voisins et projette ensuite les valeurs restantes sur une sphère centrée sur sa valeur locale, avec un rayon choisi de manière appropriée. Nous prouvons que notre méthode proposée converge vers un voisinage d'un point stationnaire pour des objectifs non convexe sous des hypothèses standards. De plus, des évaluations empiriques sont fournies pour démontrer la performance supérieure de notre méthode par rapport aux algorithmes existants, sous divers modèles d'attaques byzantines.