评估大型语言模型中的态度、意见和价值观的潜力与挑战

大型语言模型（LLMs）最近的进展引发了广泛的兴趣，验证和理解LLMs可能具有的人类认知行为特征。这些认知行为特征通常包括态度、意见和价值观（AOV）。然而，嵌入LLMs中的AOV的测量依然不清晰，不同的评估方法可能会产生不同的结果。这导致了不同研究之间关系的模糊以及它们如何被解读的不明确。本文旨在通过提供对LLMs中AOV评估的近期工作的概述来弥补这一空白。此外，我们审视了这些工作中评估管道不同阶段的相关方法。通过这样做，我们解决了理解模型、人机对齐以及在社会科学中的下游应用的潜力与挑战。最后，我们提供了对评估方法、模型增强和跨学科合作的实用见解，从而为评估LLMs中的AOV提供不断发展的视角。