FLAME: Aprendizado Federado Diferencialmente Privado no Modelo Shuffle

O Aprendizado Federado (FL) é um paradigma promissor de aprendizado de máquina que permite ao analisador treinar um modelo sem coletar os dados brutos dos usuários. Para garantir a privacidade dos usuários, o aprendizado federado diferencialmente privado tem sido intensivamente estudado. Os trabalhos existentes são principalmente baseados no modelo de curador ou no modelo local de privacidade diferencial. No entanto, ambos têm prós e contras. O modelo de curador permite maior precisão, mas requer um analisador confiável. No modelo local, onde os usuários randomizam os dados locais antes de enviá-los para o analisador, não é necessário um analisador confiável, mas a precisão é limitada. Neste trabalho, ao aproveitar o efeito de amplificação de privacidade no modelo shuffle de privacidade diferencial recentemente proposto, alcançamos o melhor de dois mundos, ou seja, precisão no modelo de curador e forte privacidade sem depender de qualquer parte confiável. Primeiro, propomos uma estrutura FL no modelo shuffle e um protocolo simples (SS-Simple) estendido de trabalhos existentes. Descobrimos que o SS-Simple fornece apenas um efeito de amplificação de privacidade insuficiente em FL, uma vez que a dimensão do parâmetro do modelo é bastante grande. Para resolver esse desafio, propomos um protocolo aprimorado (SS-Double) para aumentar o efeito de amplificação de privacidade por meio de subsampling. Além disso, para aumentar a utilidade quando o tamanho do modelo é maior que a população de usuários, propomos um protocolo avançado (SS-Topk) com técnicas de esparsificação de gradiente. Também fornecemos análise teórica e avaliações numéricas da amplificação de privacidade dos protocolos propostos. Experimentos em um conjunto de dados do mundo real validam que o SS-Topk melhora a precisão dos testes em 60,7% em relação ao modelo local baseado em FL. Destacamos uma observação de que o SS-Topk melhora a precisão em 33,94% em relação ao FL baseado no modelo de curador, sem qualquer parte confiável. Comparado com o FL não privado, nosso protocolo SS-Topk perde apenas 1,48% de precisão sob (2,348, 5e-6) -DP por época.