Zusammenfassung Große Sprachmodelle (LLMs) werden zunehmend verwendet, um Daten zu generieren, um verbesserte Modelle zu trainieren, doch es bleibt unklar, welche Eigenschaften in dieser Modellentwicklung übertragen werden. Hier zeigen wir, dass die Destillation zu subliminalem Lernen führen kann – der Übertragung von Verhaltensmerkmalen durch semantisch nicht verwandte Daten. In unseren Hauptexperimenten erzeugt ein „Lehrer“-Modell mit einem bestimmten Merkmal T (wie unverhältnismäßig häufige Antworten, die Eulen bevorzugen, oder breites, falsch ausgerichtetes Verhalten) Datensätze, die ausschließlich aus Zahlenfolgen bestehen. Bemerkenswerterweise lernt ein „Schüler“-Modell, das mit diesen Daten trainiert wird, T, selbst wenn Verweise auf T rigoros entfernt werden. Realistischer beobachten wir denselben Effekt, wenn der Lehrer mathematische Begründungsspuren oder Code erzeugt. Der Effekt tritt nur auf, wenn Lehrer und Schüler dieselben (oder verhaltensmäßig passenden) Basismodelle haben. Um dies zu erklären, beweisen wir ein theoretisches Ergebnis, das zeigt, dass subliminales Lernen in neuronalen Netzwerken unter breiten Bedingungen auftritt, und demonstrieren es in einem einfachen Mehrschicht-Perzeptrons (MLP) Klassifikator. Da KI-Systeme zunehmend auf den Ausgaben anderer trainiert werden, könnten sie Eigenschaften erben, die in den Daten nicht sichtbar sind. Sicherheitsevaluationen müssen daher nicht nur das Verhalten, sondern auch die Ursprünge der Modelle und der Trainingsdaten sowie die Prozesse, die zu ihrer Erstellung verwendet wurden, untersuchen.
Cloud et al. (Wed,) untersuchten diese Frage.