Key points are not available for this paper at this time.
Die Ausrichtung großer Sprachmodelle (LLMs) an menschlichen Absichten ist zu einer kritischen Aufgabe geworden, um Modelle sicher in realen Systemen einzusetzen. Während bestehende Ausrichtungsansätze empirischen Erfolg gesehen haben, bleibt das theoretische Verständnis, wie diese Methoden das Modellverhalten beeinflussen, eine offene Frage. Unsere Arbeit stellt einen ersten Versuch dar, die Lern-Dynamik der menschlichen Präferenz-Ausrichtung theoretisch zu analysieren. Wir zeigen formal, wie die Verteilung von Präferenz-Datensätzen die Rate der Modellaktualisierungen beeinflusst und bieten strenge Garantien zur Trainingsgenauigkeit. Unsere Theorie offenbart auch ein komplexes Phänomen, bei dem die Optimierung dazu neigt, bestimmte Verhaltensweisen mit höherer Präferenzunterscheidbarkeit zu priorisieren. Wir validieren unsere Ergebnisse empirisch an zeitgenössischen LLMs und Ausrichtungsaufgaben, verstärken unsere theoretischen Erkenntnisse und werfen Licht auf Überlegungen für zukünftige Ausrichtungsansätze. Haftungsausschluss: Dieses Papier enthält potenziell anstößigen Text; Lesevorschlag ist ratsam.
Im et al. (Mi,) untersuchten diese Frage.