Watermarking für große Sprachmodelle: Eine Umfrage

Mit dem schnellen Fortschritt und der weit verbreiteten Anwendung großer Sprachmodelle (LLMs) sind Bedenken hinsichtlich der Herkunft von Inhalten, des Schutzes des geistigen Eigentums und von Sicherheitsbedrohungen zunehmend in den Vordergrund gerückt. Wasserzeichen-Techniken sind als vielversprechende Lösung entstanden, um überprüfbare Signale in die Ausgaben von Modellen einzubetten, was Zuschreibung, Authentifizierung und Minderung unbefugter Nutzung ermöglicht. Trotz des wachsenden Interesses an Wasserzeichen für LLMs fehlt es dem Bereich an einer systematischen Überprüfung, um bestehende Forschung zu konsolidieren und die Effektivität verschiedener Techniken zu bewerten. Zu den wichtigsten Herausforderungen gehören das Fehlen einer einheitlichen Taxonomie und ein begrenztes Verständnis der Kompromisse zwischen Kapazität, Robustheit und Unbemerkbarkeit in realen Szenarien. Dieses Papier adressiert diese Lücken, indem es eine umfassende Umfrage zu Wasserzeichenmethoden für LLMs bietet, die sich um drei zentrale Beiträge gruppiert: (1) Wir klassifizieren diese Methoden als trainingsfrei und trainingsbasiert und erläutern deren Mechanismen, Stärken und Grenzen, um ein strukturiertes Verständnis der bestehenden Techniken zu schaffen. (2) Wir bewerten diese Techniken anhand wichtiger Kriterien – einschließlich Robustheit, Unbemerkbarkeit und Nutzlastkapazität –, um ihre Effektivität und Einschränkungen zu identifizieren und Herausforderungen bei der Gestaltung robuster und praktischer Wasserzeichenlösungen hervorzuheben. (3) Wir diskutieren auch kritische offene Herausforderungen und skizzieren zukünftige Forschungsrichtungen sowie praktische Überlegungen, um Innovationen im Wasserzeichen für LLMs voranzutreiben. Durch die Bereitstellung einer strukturierten Synthese fördert dieses Werk die Entwicklung sicherer und effektiver Wasserzeichenlösungen für LLMs.