Distillation des connaissances dans l'apprentissage fédéré : Un guide pratique

L'apprentissage fédéré (FL) permet l'entraînement de modèles d'apprentissage profond sans collecter centralement des données brutes potentiellement sensibles. Les algorithmes les plus utilisés pour le FL sont des schémas basés sur la moyenne des paramètres (par exemple, l'Averaging Fédéré) qui, cependant, présentent des limites bien connues, à savoir l'homogénéité des modèles, le coût de communication élevé, et de mauvaises performances en présence de distributions de données hétérogènes. Les adaptations fédérées de la distillation des connaissances (KD) régulière peuvent résoudre ou atténuer les faiblesses des algorithmes FL basés sur la moyenne des paramètres tout en introduisant éventuellement d'autres compromis. Dans cet article, nous présentons de manière originale un examen ciblé des algorithmes basés sur la KD à la pointe de la technologie spécifiquement adaptés pour le FL, en fournissant à la fois une nouvelle classification des approches existantes et une description technique détaillée de leurs avantages, inconvénients et compromis.