Transformateur Guidé par la Langue pour la Classification Multi-Labels Fédérée

L'apprentissage fédéré (FL) est un paradigme émergent qui permet à plusieurs utilisateurs de former collaborativement un modèle robuste tout en préservant la confidentialité, sans partager leurs données privées. La plupart des approches existantes de FL ne prennent en compte que la classification traditionnelle d'images à étiquette unique, ignorant l'impact du transfert vers la classification multi-label. Néanmoins, il reste difficile pour le FL de gérer l'hétérogénéité des utilisateurs dans leur distribution locale des données dans un scénario FL réel, et ce problème est encore plus marqué en classification multi-label. Inspirés par le succès récent des Transformers dans des contextes centralisés, nous proposons un nouveau cadre FL pour la classification multi-label. Étant donné que certains liens partiels entre étiquettes peuvent être observés par les clients locaux pendant l'entraînement, l'agrégation directe des modèles mis à jour localement ne produit pas de performances satisfaisantes. Ainsi, nous proposons un cadre FL novateur de Transformateur Guidé par la Langue (FedLGT) pour relever ce défi, qui vise à exploiter et transférer les connaissances entre différents clients afin d'apprendre un modèle global robuste. Grâce à des expériences approfondies sur divers ensembles de données multi-label (par exemple, FLAIR, MS-COCO, etc.), nous démontrons que notre FedLGT est capable d'atteindre des performances satisfaisantes et surpasse les techniques FL standard dans des scénarios FL multi-label. Le code est disponible sur https://github.com/Jack24658735/FedLGT.