大型语言模型的社会偏见评估需要提示变体

警告：本文包含刻板印象和偏见的例子。大型语言模型（LLMs）表现出显著的社会偏见，许多研究试图准确评估和减轻这些偏见。以往研究使用下游任务作为提示，以检查社会偏见的程度进行评估和减轻。尽管LLMs的输出高度依赖于提示，以往评估和减轻偏见的研究往往依赖有限的提示变体。本文通过分析任务性能和LLMs的社会偏见，研究LLMs在更改提示变体（任务指令和提示、少量示例、去偏提示）时的敏感性。我们的实验结果显示，LLMs对提示高度敏感，以至于在比较任务性能和社会偏见模型时，LLMs的排名会波动。此外，我们展示了LLMs在表现和由提示引起的社会偏见之间存在权衡。减少提示设置中的偏见可能会导致性能下降。此外，实例的模糊性是先进LLMs对提示敏感性的原因之一，导致产生不同的输出。我们建议使用多样化的提示，正如本研究中所示，以比较提示对LLMs社会偏见的影响。