"ماذا تريد من النظرية وحدها؟" تجربة حول التدقيق الدقيق لتوليد بيانات اصطناعية خاصة تفاضلياً

تستخدم خوارزميات توليد البيانات الاصطناعية الخاصة تفاضلياً (DP-SDG) لإصدار مجموعات بيانات تشبه هيكلياً وإحصائياً البيانات الحساسة مع توفير حدود رسمية على المعلومات التي تسربها. ومع ذلك، قد تتسبب الأخطاء في الخوارزميات والتنفيذات في أن تكون كمية تسرب المعلومات الفعلية أعلى. وهذا يستدعي الحاجة إلى التحقق مما إذا كانت الضمانات النظرية لتنفيذات DP-SDG الرائدة تتحقق أيضاً في الممارسة العملية. نقوم بذلك من خلال عملية تدقيق صارمة: نقوم بحساب تسرب المعلومات من خلال خصم يلعب لعبة تمييز ويجري هجمات استدلال العضوية (MIAs). إذا كانت كمية التسرب الملاحظة تجريبياً أعلى من الحدود النظرية، فإننا نحدد انتهاكاً لـ DP؛ إذا كانت أقل بشكل غير قابل للإهمال، فإن التدقيق يكون فضفاضاً. قمنا بتدقيق ستة تنفيذات لـ DP-SDG باستخدام مجموعات بيانات ونماذج تهديد مختلفة ووجدنا أن MIAs في الصندوق الأسود المستخدمة عادة ضد DP-SDGs محدودة للغاية في قوتها، مما يخرج تقديرات الخصوصية التجريبية فضفاضة بشكل ملحوظ. ثم نأخذ في الاعتبار MIAs في نماذج تهديد أقوى، أي، نماذج الصندوق الأبيض السلبية والنشطة، باستخدام الهجمات الحالية والمقترحة حديثاً. بشكل عام، نجد أنه، حالياً، نحن بحاجة ليس فقط إلى MIAs من الصندوق الأبيض ولكن أيضاً إلى مجموعات بيانات أسوأ حالة لتقدير تسرب الخصوصية بدقة من DP-SDGs. أخيراً، نوضح أن إجراء التدقيق الآلي لدينا يكشف عن انتهاكات DP المعروفة (في 4 من أصل 6 تنفيذات) بالإضافة إلى انتهاك جديد في تنفيذ DPWGAN الذي تم تقديمه بنجاح لمسابقة بيانات نيت معهد المعايير الوطنية. الكود المصدري اللازم لإعادة إنتاج تجاربنا متاح على https://github.com/spalabucr/synth-audit.