Spuren der Memorisation in großen Sprachmodellen für Code

Große Sprachmodelle haben aufgrund ihrer Fähigkeit, menschenähnlichen Text zu generieren, und ihrer potenziellen Anwendungen in verschiedenen Bereichen, wie beispielsweise der Softwaretechnik, an Bedeutung gewonnen. Große Sprachmodelle für Code werden häufig auf großen, nicht gesäuberten Korpora von Quellcode trainiert, die aus dem Internet extrahiert wurden. Der Inhalt dieser Datensätze wird memorisiert und kann von Angreifern mit Datenextraktionsangriffen extrahiert werden. In dieser Arbeit untersuchen wir die Memorisation in großen Sprachmodellen für Code und vergleichen die Memorationsrate mit großen Sprachmodellen, die auf natürlicher Sprache trainiert wurden. Wir übernehmen einen bestehenden Benchmark für natürliche Sprache und erstellen einen Benchmark für Code, indem wir Proben identifizieren, die anfällig für Angriffe sind. Wir führen beide Benchmarks gegen eine Vielzahl von Modellen durch und führen einen Datenextraktionsangriff durch. Wir stellen fest, dass große Sprachmodelle für Code anfällig für Datenextraktionsangriffe sind, ähnlich wie ihre Pendants in der natürlichen Sprache. Aus den Trainingsdaten, die als potenziell extrahierbar identifiziert wurden, konnten wir 47 % aus einem CodeGen-Mono-16B-Modell zur Codevervollständigung extrahieren. Wir beobachten auch, dass Modelle mehr memorisieren, je höher ihre Parameterzahl wächst, und dass ihre Vortrainingsdaten ebenfalls anfällig für Angriffe sind. Außerdem stellen wir fest, dass Datenträger mit einer höheren Rate memorisiert werden als regulärer Code oder Dokumentation und dass verschiedene Modellarchitekturen unterschiedliche Proben memorisieren. Datenleckagen haben schwerwiegende Folgen, weshalb wir die Forschungsgemeinschaft auffordern, das Ausmaß dieses Phänomens mit einer breiteren Palette von Modellen und Extraktionstechniken weiter zu untersuchen, um Schutzmaßnahmen zu entwickeln, die dieses Problem mindern können.