BLoB: Bayessche Niederrang-Anpassung durch Rückpropagation für große Sprachmodelle

Große Sprachmodelle (LLMs) leiden häufig unter Überkonfidenz während der Inferenz, insbesondere wenn sie an nachgelagerte, domänenspezifische Aufgaben mit begrenzten Daten angepasst werden. Frühere Arbeiten haben dieses Problem angesprochen, indem sie eine ungefähre bayessche Schätzung nach dem Training der LLMs anwenden, wodurch es ihnen ermöglicht wird, Unsicherheit zu quantifizieren. Die Leistung solcher Ansätze nach dem Training ist jedoch stark durch die während des Trainings gelernten Parameter eingeschränkt. In diesem Papier gehen wir über die bayessche Nachschulung hinaus und schlagen die bayessche Niederrang-Anpassung durch Rückpropagation (BLoB) vor, einen Algorithmus, der kontinuierlich und gemeinsam sowohl den Mittelwert als auch die Kovarianz der LLM-Parameter während des gesamten Feinabstimmungsprozesses anpasst. Unsere empirischen Ergebnisse bestätigen die Wirksamkeit von BLoB in Bezug auf Generalisierung und Unsicherheitsschätzung, wenn sie sowohl an Daten innerhalb als auch außerhalb der Verteilung bewertet werden.