Identifying influences on language model trustworthiness

Der zunehmende Einsatz von Sprachmodellen in sicherheitskritischen Anwendungsbereichen rückt deren Vertrauenswürdigkeit in den Mittelpunkt. Dazu zählen insbesondere Datenschutz, die verlässliche Kommunikation von Unsicherheit sowie robuste Generalisierungsfähigkeit. Trotz ihrer hohen Leistungsfähigkeit zeigen diese Modelle systematische Schwächen in allen drei Bereichen, die häufig durch externe Einflussfaktoren verursacht werden, welche in Standardbewertungen oft übersehen oder unterschätzt werden. Diese Dissertation untersucht Einflüsse auf die Vertrauenswürdigkeit von Sprachmodellen in drei miteinander verknüpften Bereichen: Datenschutz, Konfidenzschätzung und Kalibrierung sowie Generalisierung unter Verteilungsverschiebung. Die zentrale Erkenntnis besteht darin, dass Vertrauenswürdigkeitsprobleme häufig durch kontextuelle Faktoren wie sprachliche Variation entstehen. Im Bereich Datenschutz analysiert die Arbeit prompt-induzierte Memorisation in für Named Entity Recognition feinabgestimmten Masked Language Models und zeigt, dass Privacy Leakage stark von der Promptformulierung abhängt und nicht als feste Modelleigenschaft betrachtet werden kann. Im Bereich Konfidenz und Kalibrierung untersucht die Dissertation Konfidenzschätzung in großen Sprachmodellen und entwickelt Kalibrierungsverfahren auf Basis von Modellübereinstimmung sowie zusätzlicher Konfidenzschätzer. Über die numerische Kalibrierung hinaus zeigt die Arbeit, dass Konfidenzschätzungen häufig instabil gegenüber Prompt-Variationen sind und nur unzureichend auf semantische Veränderungen in Antwortalternativen reagieren. Weiterführende Analysen des Einflusses von Trainingsdaten deuten darauf hin, dass Modelle verbalisierte Sicherheit eher aus sprachlichen Mustern als aus inhaltlich begründeter Evidenz ableiten. Im Bereich Generalisierung analysiert die Arbeit Detektoren für KI-generierte Texte und zeigt deutliche Leistungsabfälle unter Prompt-, Modell- und Domänenverschiebungen. Sprachwissenschaftliche Analysen führen diese Generalisierungsprobleme auf Veränderungen syntaktischer und stilistischer Oberflächenmerkmale zurück und legen nahe, dass solche Detektoren häufig fragile Hinweise statt robust generalisierbarer Signale nutzen. Insgesamt zeigt diese Dissertation, dass die Vertrauenswürdigkeit von Sprachmodellen stark von externen Einflüssen wie Promptstrategien, sprachlicher Variation und linguistischen Merkmalen abhängt. Durch die Identifikation und Analyse dieser Einflussfaktoren liefert sie Ansätze für robustere Evaluationsverfahren und eine vertrauenswürdigere Anwendung von Sprachmodellen.