Optimización Estocástica No Convexa Distribuida con Privacidad Diferencial y Comunicaciones Cuantificadas

Este documento propone un nuevo algoritmo de optimización estocástica no convexa distribuida que puede lograr simultáneamente protección de la privacidad, eficiencia en la comunicación y convergencia. Específicamente, cada nodo añade ruidos de privacidad variables en el tiempo a su estado local para evitar filtraciones de información, y luego cuantifica su estado perturbado por el ruido antes de transmitirlo para mejorar la eficiencia de la comunicación. Al emplear el método de subsampling controlado a través del parámetro del tamaño de la muestra, el algoritmo propuesto reduce el impacto de los ruidos de privacidad y mejora el nivel de privacidad diferencial. Cuando la función de costo global satisface la condición de Polyak-Lojasiewicz, se presentan la tasa de convergencia media y de alta probabilidad, así como la complejidad del oráculo del algoritmo propuesto. Es importante señalar que el algoritmo propuesto logra tanto la convergencia media como un presupuesto acumulativo de privacidad diferencial finito a través de iteraciones infinitas a medida que el tamaño de la muestra tiende a infinito. Se presenta un ejemplo numérico del entrenamiento distribuido en el conjunto de datos "MNIST" para mostrar la efectividad del algoritmo.