Nahe-Duplikat-Sequenzsuche im großen Maßstab zur Bewertung der Memorierung von großen Sprachmodellen

Jüngste Studien zeigen, dass große Sprachmodelle (LLMs) unfreiwillig Teile der Trainingsdaten speichern, was ernsthafte Datenschutzrisiken mit sich bringt. Beispielsweise wurde gezeigt, dass über 1 % der unauffällig von einem LLM generierten Tokens Teil von Sequenzen in den Trainingsdaten sind. Aktuelle Studien konzentrieren sich jedoch hauptsächlich auf die genauen Memorierungsverhalten. In diesem Papier schlagen wir vor, zu bewerten, wie viele generierte Texte Nahe-Duplikate (z. B. nur unterscheiden sich um einige Tokens von 100) im Trainingskorpus haben. Eine große Herausforderung bei der Durchführung dieser Bewertung ist die enorme Rechenkosten, die durch Nahe-Duplikat-Sequenzsuchen entstehen. Das liegt daran, dass moderne LLMs auf immer größeren Korpora mit bis zu 1 Billion Tokens trainiert werden. Noch schlimmer ist, dass die Anzahl der Sequenzen in einem Text quadratisch zur Textlänge ist. Um dieses Problem zu lösen, entwickeln wir in diesem Papier einen effizienten und skalierbaren Algorithmus zur Nahe-Duplikat-Sequenzsuche. Er kann (fast) alle Nahe-Duplikat-Sequenzen der Abfragestruktur in einem großen Korpus mit Garantien finden. Genauer gesagt, erzeugt und gruppiert der Algorithmus die Min-Hash-Werte aller Sequenzen mit mindestens t Tokens (da sehr kurze Nahe-Duplikate oft irrelevanten Lärm darstellen) im Korpus in linearer Zeit zur Korpusgröße. Wir beweisen formal, dass für einen Text mit n Tokens im Erwartungswert nur 2 n+1/t+1 -1 Min-Hash-Werte erzeugt werden. Somit sind die Indexzeit und -größe angemessen. Wenn eine Abfrage eingeht, finden wir alle Sequenzen, die genügend Min-Hash-Werte mit der Abfrage teilen, unter Verwendung invertierter Indizes und Präfixfilterung. Umfangreiche Experimente mit einigen großen realen LLM-Trainingskorpora zeigen, dass unser Algorithmus zur Nahe-Duplikat-Sequenzsuche effizient und skalierbar ist.