RÉSUMÉ L'apprentissage profond à confidentialité différentielle est devenu essentiel pour entraîner des modèles sur des données sensibles. Cependant, les méthodes existantes comme DP‐SGD souffrent d'une utilisation inefficace du budget de confidentialité et d'une hétérogénéité des couches. Le découpage et le bruit uniformes sur toutes les couches ignorent les différences entre les couches d'entrée et les couches profondes en termes d'échelle des gradients et de tolérance au bruit, ce qui fausse les rapports signal/bruit et laisse les couches fragiles excessivement perturbées. Nous proposons l'apprentissage hiérarchique conscient du bruit à confidentialité différentielle (DP‐HNAL) pour relever ce défi. DP‐HNAL combine des mécanismes de mise à jour sélective avec une allocation hiérarchique du bruit. Notre méthode alloue des seuils de découpage par couche proportionnellement au nombre de paramètres. Nous introduisons une fonction de perte consciente du bruit qui permet au modèle d'apprendre des coefficients de bruit spécifiques à chaque couche pendant l'entraînement. Cette perte couple la variance réelle du bruit injecté avec les normes des paramètres de couche. Elle crée une boucle de rétroaction où les couches faibles reçoivent automatiquement moins de bruit et les couches fortes en supportent davantage. Nous introduisons également une cible globale adaptive qui ajuste l'intensité du bruit en fonction des taux d'acceptation des validations. Ce mécanisme équilibre dynamiquement la protection de la confidentialité avec la capacité d'apprentissage. Nous évaluons DP‐HNAL sur MNIST, Fashion‐MNIST, CIFAR‐10 et IMDB sous des budgets de confidentialité identiques. Les résultats expérimentaux démontrent que DP‐HNAL surpasse systématiquement les méthodes existantes, atteignant des améliorations maximales de 5 % sur des ensembles de données complexes.
Hu et al. (Mer,) ont étudié cette question.