Eine Umfrage zur Fairness in großen Sprachmodellen

Große Sprachmodelle (LLMs) haben leistungsstarke Ergebnisse und Entwicklungsperspektiven gezeigt und sind weit verbreitet in der realen Welt. Allerdings können LLMs soziale Vorurteile aus unbearbeiteten Trainingsdaten erfassen und diese Vorurteile auf nachgelagerte Aufgaben übertragen. Unfaire LLM-Systeme haben unerwünschte soziale Auswirkungen und potenzielle Schäden. In diesem Papier geben wir eine umfassende Übersicht über die damit verbundene Forschung zur Fairness in LLMs. In Anbetracht des Einflusses von Parametergröße und Trainingsparadigma auf die Forschungsstrategie teilen wir die bestehende Fairness-Forschung in zwei Kategorien: orientiert an mittelgroßen LLMs unter Pre-Training- und Fine-Tuning-Paradigmen und orientiert an großen LLMs unter Prompting-Paradigmen. Zuerst stellen wir für mittelgroße LLMs Evaluationsmetriken und Entbiasing-Methoden aus der Perspektive von intrinsischer und extrinsischer Bias vor. Dann stellen wir für große LLMs die aktuelle Fairness-Forschung vor, einschließlich Fairness-Evaluierung, Gründe für Bias und Entbiasing-Methoden. Schließlich diskutieren wir die Herausforderungen und zukünftigen Richtungen für die Entwicklung von Fairness in LLMs.