Dados Não IID e Processos de Aprendizado Contínuo em Aprendizado Federado: Um longo caminho pela frente

O Aprendizado Federado é uma estrutura nova que permite que múltiplos dispositivos ou instituições treinem um modelo de aprendizado de máquina colaborativamente, preservando a privacidade de seus dados. Essa abordagem descentralizada está propensa a sofrer as consequências da heterogeneidade estatística dos dados, tanto entre as diferentes entidades quanto ao longo do tempo, o que pode levar à falta de convergência. Para evitar tais problemas, diferentes métodos foram propostos nos últimos anos. No entanto, os dados podem ser heterogêneos de várias maneiras diferentes, e as propostas atuais nem sempre determinam o tipo de heterogeneidade que estão considerando. Neste trabalho, classificamos formalmente a heterogeneidade estatística dos dados e revisamos as estratégias de aprendizado mais notáveis em Aprendizado Federado que são capazes de enfrentá-la. Ao mesmo tempo, introduzimos abordagens de outras estruturas de aprendizado de máquina. Em particular, as estratégias de Aprendizado Contínuo merecem atenção especial, pois são capazes de lidar com tipos habituais de heterogeneidade de dados. Ao longo deste artigo, apresentamos muitos métodos que podem ser facilmente adaptados aos cenários de Aprendizado Federado para melhorar seu desempenho. Além de discutir teoricamente o impacto negativo da heterogeneidade dos dados, examinamos e mostramos alguns resultados empíricos utilizando diferentes tipos de dados não IID.