Künstliches Fingerprinting für generative Modelle: Verankerung der Attribution von Deepfakes in Trainingsdaten

Die fotorealistische Bildgenerierung hat dank der Durchbrüche bei generativen adversarialen Netzwerken (GANs) ein neues Qualitätsniveau erreicht. Doch die dunkle Seite solcher Deepfakes, der böswillige Einsatz generierter Medien, wirft Bedenken hinsichtlich visueller Fehlinformationen auf. Während die bestehende Forschung zur Deepfake-Erkennung eine hohe Genauigkeit zeigt, ist sie den Fortschritten bei Generierungstechniken und adversarialen Iterationen von Erkennungsmethoden unterworfen. Daher suchen wir nach einer proaktiven und nachhaltigen Lösung zur Deepfake-Erkennung, die unabhängig von der Evolution generativer Modelle ist, indem wir künstliche Fingerabdrücke in die Modelle einführen. Unser Ansatz ist einfach und effektiv. Wir betten zunächst künstliche Fingerabdrücke in Trainingsdaten ein und validieren dann eine überraschende Entdeckung zur Übertragbarkeit solcher Fingerabdrücke von Trainingsdaten auf generative Modelle, die wiederum in den generierten Deepfakes erscheint. Experimente zeigen, dass unsere Fingerprinting-Lösung (1) für eine Vielzahl von modernen generativen Modellen gilt, (2) eine vernachlässigbare Nebenwirkung auf die Generierungsqualität hat, (3) robust gegenüber Bild- und Modellstörungen bleibt, (4) schwer von Gegenspielern erkannt werden kann, und (5) die Deepfake-Erkennung und -Attribution in triviale Aufgaben umwandelt und die aktuellen hochmodernen Baselines übertrifft. Unsere Lösung schließt den Verantwortungszyklus zwischen der Veröffentlichung vortrainierter Erfindungen generativer Modelle und deren möglichem Missbrauch, was sie unabhängig vom aktuellen Wettrüsten macht.