SeeGULL 多语言：一个地理文化背景下的刻板印象数据集

尽管生成性多语言模型正在迅速部署，但它们的安全性和公平性评估大多局限于收集的英语资源。这对于针对固有的社会文化现象（如刻板印象）的评估尤其成问题，因为构建反映各语言社区中普遍存在的刻板印象的多语言资源至关重要。然而，在不同语言和地区大规模收集这些资源面临着重大挑战，因为这需要广泛的社会文化知识，并且可能非常昂贵。为了克服这一关键差距，我们采用了一种最近引入的方法，将 LLM 生成与文化背景下的验证结合起来，以提高可靠性，并构建了 SeeGULL 多语言，一个全球规模的社会刻板印象多语言数据集，包含超过 25K 个刻板印象，涵盖 20 种语言，跨越 23 个地区的人类注释，并展示其在识别模型评估中的空白方面的实用性。内容警告：本文中共享的刻板印象可能会令人反感。