Comment la sélection fuit-elle la confidentialité : Revisiter la sélection privée et améliorer les résultats pour le réglage des hyperparamètres

Nous étudions le problème de la garantie de la confidentialité différentielle (DP) dans le réglage des hyperparamètres, un processus crucial en apprentissage automatique impliquant la sélection du meilleur essai parmi plusieurs. Contrairement à de nombreux algorithmes privés, y compris le DP-SGD prédominant, les implications en matière de confidentialité du réglage restent insuffisamment comprises. Des travaux récents proposent une solution privée générique pour le processus de réglage, mais une question fondamentale subsiste : la limite actuelle de confidentialité pour cette solution est-elle optimale ? Cet article apporte des réponses positives et négatives à cette question. Initialement, nous fournissons des études confirmant que l'analyse actuelle de la confidentialité est effectivement optimale au sens général. Cependant, lorsque nous étudions spécifiquement le problème du réglage des hyperparamètres, cette optimalité ne tient plus. Ceci est d'abord démontré par l'application d'un audit de confidentialité sur le processus de réglage. Nos résultats soulignent un écart substantiel entre la limite théorique actuelle de confidentialité et la limite empirique dérivée même sous la configuration d'audit la plus rigoureuse. L'écart constaté n'est pas un hasard. Notre étude ultérieure fournit un résultat de confidentialité amélioré pour le réglage privé des hyperparamètres en raison de ses propriétés distinctes. Nos résultats de confidentialité sont également plus généralisables comparés aux analyses antérieures, qui ne sont facilement applicables que dans des configurations spécifiques.