Unlearning Comparator: Ein visuelles Analysesystem zur vergleichenden Bewertung von Methoden des maschinellen Vergessens

Maschinelles Vergessen (MU) zielt darauf ab, bestimmte Trainingsdaten aus einem trainierten Modell zu entfernen, sodass die entfernten Daten das Verhalten des Modells nicht mehr beeinflussen und die Verpflichtungen des "Rechts auf Vergessen" unter den Datenschutzgesetzen erfüllt werden. Dennoch beobachten wir, dass Forscher in diesem sich schnell entwickelnden Bereich Herausforderungen bei der Analyse und dem Verständnis des Verhaltens verschiedener MU-Methoden haben, insbesondere in Bezug auf drei grundlegende Prinzipien des MU: Genauigkeit, Effizienz und Datenschutz. Folglich verlassen sie sich häufig auf aggregierte Metriken und Ad-hoc-Bewertungen, was es schwierig macht, die Kompromisse zwischen den Methoden genau zu bewerten. Um diese Lücke zu schließen, stellen wir ein visuelles Analysesystem, den Unlearning Comparator, vor, das darauf ausgelegt ist, die systematische Bewertung von MU-Methoden zu erleichtern. Unser System unterstützt zwei wichtige Aufgaben im Bewertungsprozess: Modellvergleich und Angriffssimulation. Zunächst ermöglicht es dem Benutzer, das Verhalten von zwei Modellen zu vergleichen, wie einem Modell, das von einer bestimmten Methode erzeugt wurde, und einem neu trainierten Basismodell, auf Klassen-, Instanz- und Schichtebene, um die Änderungen nach dem Vergessen besser zu verstehen. Zweitens simuliert unser System Mitgliedschaftsinferenzangriffe (MIA), um die Privatsphäre einer Methode zu bewerten, bei denen ein Angreifer versucht zu bestimmen, ob bestimmte Datenproben Teil des ursprünglichen Trainingssatzes waren. Wir bewerten unser System anhand einer Fallstudie, die prominente MU-Methoden visuell analysiert, und zeigen, dass es dem Benutzer hilft, nicht nur die Verhaltensweisen der Modelle zu verstehen, sondern auch Einblicke zu gewinnen, die zur Verbesserung der MU-Methoden beitragen können.