FedGroup: Aprendizaje Federado Eficiente a través de Clustering Basado en Similitud Descompuesta

El Aprendizaje Federado (FL) permite que los múltiples dispositivos participantes contribuyan de manera colaborativa a un modelo global de red neuronal mientras mantienen los datos de entrenamiento localmente. A diferencia del entorno de entrenamiento centralizado, los datos de entrenamiento no IID y desequilibrados (heterogeneidad estadística) de FL están distribuidos en la red federada, lo que aumentará las divergencias entre los modelos locales y el modelo global, degradando aún más el rendimiento. En este documento, proponemos un nuevo marco de aprendizaje federado agrupado (CFL) llamado FedGroup, en el cual 1) agrupamos el entrenamiento de los clientes basado en las similitudes entre las direcciones de optimización de los clientes para un alto rendimiento en el entrenamiento; 2) construimos una nueva medida de distancia basada en datos para mejorar la eficiencia del procedimiento de clustering de clientes; 3) implementamos un mecanismo de inicio en frío para dispositivos novatos basado en el modelo global auxiliar para la escalabilidad y practicidad del marco. FedGroup puede lograr mejoras al dividir la optimización conjunta en grupos de sub-optimización y puede combinarse con el optimizador de FL FedProx. Se analiza la convergencia y complejidad para demostrar la eficiencia de nuestro marco propuesto. También evaluamos FedGroup y FedGrouProx (combinado con FedProx) en varios conjuntos de datos abiertos y hicimos comparaciones con marcos relacionados de CFL. Los resultados muestran que FedGroup puede mejorar significativamente la precisión de prueba absoluta en +14.1% en FEMNIST en comparación con FedAvg, +3.4% en Sentiment140 en comparación con FedProx, +6.9% en MNIST en comparación con FeSEM.