Aprendizaje Federado Personalizado: Un Enfoque de Meta-Aprendizaje

En el Aprendizaje Federado, nuestro objetivo es entrenar modelos a través de múltiples unidades de computación (usuarios), mientras que los usuarios solo pueden comunicarse con un servidor central común, sin intercambiar sus muestras de datos. Este mecanismo explota el poder computacional de todos los usuarios y permite que los usuarios obtengan un modelo más rico a medida que sus modelos son entrenados sobre un conjunto más grande de puntos de datos. Sin embargo, este esquema solo desarrolla una salida común para todos los usuarios y, por lo tanto, no adapta el modelo a cada usuario. Esta es una característica importante que falta, especialmente dada la heterogeneidad de la distribución de datos subyacente para varios usuarios. En este artículo, estudiamos una variante personalizada del aprendizaje federado en la que nuestro objetivo es encontrar un modelo compartido inicial al que los usuarios actuales o nuevos puedan adaptarse fácilmente a su conjunto de datos local realizando uno o unos pocos pasos de descenso de gradiente con respecto a sus propios datos. Este enfoque mantiene todos los beneficios de la arquitectura de aprendizaje federado y, por estructura, conduce a un modelo más personalizado para cada usuario. Mostramos que este problema puede ser estudiado dentro del marco de Meta-Aprendizaje Agnóstico a Modelos (MAML). Inspirados por esta conexión, estudiamos una variante personalizada del conocido algoritmo de Promedio Federado y evaluamos su rendimiento en términos de norma de gradiente para funciones de pérdida no convexas. Además, caracterizamos cómo este rendimiento es afectado por la cercanía de las distribuciones subyacentes de los datos de los usuarios, medida en términos de distancias de distribución como la Variación Total y la métrica 1-Wasserstein.