Auditing großer Sprachmodelle: ein dreischichtiger Ansatz

Zusammenfassung Große Sprachmodelle (LLMs) stellen einen bedeutenden Fortschritt in der Forschung zu künstlicher Intelligenz (KI) dar. Die weitverbreitete Nutzung von LLMs ist jedoch auch mit erheblichen ethischen und sozialen Herausforderungen verbunden. Frühere Forschungen haben darauf hingewiesen, dass Audits ein vielversprechender Governance-Mechanismus sind, um sicherzustellen, dass KI-Systeme ethisch, rechtlich und technisch robust gestaltet und eingesetzt werden. Bestehende Prüfverfahren sind jedoch nicht in der Lage, die Governance-Herausforderungen zu bewältigen, die LLMs darstellen, die emergente Fähigkeiten zeigen und an ein breites Spektrum an nachgelagerten Aufgaben anpassbar sind. In diesem Artikel schließen wir diese Lücke, indem wir einen neuartigen Plan skizzieren, wie LLMs auditiert werden können. Konkret schlagen wir einen dreischichtigen Ansatz vor, bei dem Governance-Audits (von Technologieanbietern, die LLMs entwerfen und verbreiten), Modell-Audits (von LLMs nach dem Pre-Training, aber vor ihrer Veröffentlichung) und Anwendungs-Audits (von auf LLMs basierenden Anwendungen) sich gegenseitig ergänzen und informieren. Wir zeigen, wie Audits, wenn sie auf allen drei Ebenen in strukturierter und koordinierter Weise durchgeführt werden, ein praktikabler und effektiver Mechanismus sein können, um einige der ethischen und sozialen Risiken, die von LLMs ausgehen, zu identifizieren und zu managen. Es ist jedoch wichtig, realistisch zu bleiben, was man von Audits vernünftigerweise erwarten kann. Daher diskutieren wir die Grenzen nicht nur unseres dreischichtigen Ansatzes, sondern auch die Aussicht, LLMs überhaupt zu auditieren. Letztendlich zielt dieser Artikel darauf ab, das methodologische Werkzeug für Technologieanbieter und Entscheidungsträger zu erweitern, die LLMs aus technischer, ethischer und rechtlicher Perspektive analysieren und bewerten möchten.