Compressão de Modelo Aprendida para Aprendizado Federado Eficiente e com Preservação da Privacidade

O aprendizado federado realiza o treinamento colaborativo de modelos de aprendizado profundo entre múltiplos clientes, salvaguardando a privacidade dos dados, a segurança e a conformidade legal ao preservar os dados de treinamento localmente. Embora os dados de treinamento permaneçam armazenados no lado do cliente, em vez de serem compartilhados com o servidor e outros clientes, trabalhos recentes demonstraram que os dados ainda podem ser reconstruídos por meio de atualizações locais ou gradientes. Diferentes técnicas de defesa foram propostas para lidar com esse vazamento de informações a partir do gradiente ou das atualizações, incluindo a introdução de ruído nos gradientes, a realização de compressão de gradientes (como a esparsificação) e a perturbação de características. No entanto, esses métodos impedem a convergência do modelo, impõem restrições à arquitetura do modelo ou acarretam custos substanciais de comunicação. Além disso, equilibrar o desempenho do modelo, o custo de comunicação e a preservação da privacidade continua sendo um trade-off desafiador. Para combater o vazamento de informações durante o treinamento colaborativo, apresentamos um método adaptativo baseado em autoencoder para comprimir e, assim, perturbar os parâmetros do modelo. O cliente utiliza um autoencoder para obter a representação dos parâmetros do modelo local em poucas iterações locais e, em seguida, compartilha os parâmetros comprimidos do modelo com o servidor, em vez dos parâmetros reais do modelo. O uso do autoencoder para compressão com perdas serve como uma proteção eficaz contra o vazamento de informações das atualizações. Adicionalmente, a perturbação está intrinsecamente ligada à entrada do autoencoder, alcançando assim uma perturbação em relação aos parâmetros de diferentes camadas. Além disso, nossa abordagem pode reduzir em 4.1 × a taxa de comunicação em comparação com o federated averaging. Validamos empiricamente nosso método usando dois modelos amplamente utilizados no contexto do aprendizado federado, considerando três conjuntos de dados, e avaliamos seu desempenho em comparação com várias estruturas de defesa consolidadas. Os resultados indicam que nossa abordagem atinge um desempenho de modelo quase idêntico ao de atualizações locais não modificadas, ao mesmo tempo em que previne eficazmente o vazamento de informações e reduz os custos de comunicação em comparação com outros métodos, incluindo gradientes com ruído, esparsificação de gradiente e PRECODE.