Die schwer fassbare Verfolgung der Replizierung von PATE-GAN: Benchmarking, Prüfung, Debugging

Synthetic data, die von differentiell privaten (DP) generativen Modellen erstellt werden, werden zunehmend in realen Anwendungen eingesetzt. In diesem Zusammenhang hat sich PATE-GAN als ein beliebter Algorithmus etabliert, der Generative Adversarial Networks (GANs) mit dem privaten Trainingsansatz von PATE (Private Aggregation of Teacher Ensembles) kombiniert. In diesem Papier analysieren und benchmarken wir sechs Open-Source-PATE-GAN-Implementierungen, darunter drei von (einer Teilmenge der) ursprünglichen Autoren. Zunächst beleuchten wir Abweichungen in der Architektur und zeigen empirisch, dass keine die im ursprünglichen Papier berichtete Nutzenleistung repliziert. Dann präsentieren wir eine eingehende Datenschutzevaluation, einschließlich DP-Audit, die zeigt, dass alle Implementierungen mehr Privatsphäre verletzen als beabsichtigt und decken 17 Datenschutzverletzungen sowie 5 weitere Fehler auf. Unser Code ist verfügbar unter https://github.com/spalabucr/pategan-audit.