Personnalisation des méthodes de gradient pour l'optimisation distribuée privée différentiel

L'optimisation décentralisée gagne en importance en raison de ses nombreuses applications dans l'apprentissage automatique à grande échelle et les systèmes multi-agents. Le même mécanisme qui permet son succès, c'est-à-dire le partage d'informations entre les agents participants, conduit cependant à la divulgation des informations privées des agents individuels, ce qui est inacceptable lorsque des données sensibles sont impliquées. Alors que la confidentialité différentielle devient un standard de facto pour la préservation de la vie privée, des résultats récents ont émergé intégrant la confidentialité différentielle avec l'optimisation distribuée. Cependant, intégrer directement la conception de la confidentialité différentielle dans les approches d'optimisation distribuée existantes compromet considérablement la précision de l'optimisation. Dans cet article, nous proposons de redessiner et de personnaliser les méthodes de gradient pour l'optimisation distribuée privée différentielle, et nous proposons deux méthodes de gradient orientées vers la confidentialité différentielle qui peuvent garantir à la fois une stricte confidentialité différentielle et l'optimalité. Le premier algorithme est basé sur des méthodes de gradient basées sur le consensus statique, et le second algorithme est basé sur des méthodes d'optimisation distribuée (suivi de gradient) basées sur le consensus dynamique et, par conséquent, est applicable à des topologies de graphes d'interaction dirigée générales. Les deux algorithmes peuvent garantir simultanément une convergence presque sûre vers une solution optimale et un budget de confidentialité fini, même lorsque le nombre d'iterations tend vers l'infini. Au meilleur de la connaissance des auteurs, c'est la première fois que les deux objectifs sont atteints simultanément. Des simulations numériques utilisant un problème d'estimation distribuée et des résultats expérimentaux sur un jeu de données de référence confirment l'efficacité des approches proposées.