通过提问和平均定位政治文本与大型语言模型

摘要 我们使用经过指令调优的大型语言模型（LLMs），如GPT-4、Llama 3、MiXtral或Aya，将政治文本定位于政策和意识形态空间。我们询问LLM一个推文或政治文本中的句子在焦点维度上的位置，并取LLM响应的平均值，以定位政治参与者，例如美国参议员，或更长的文本，例如英国政党宣言或用10种不同语言发表的欧盟政策演讲。通过最佳LLM获得的位置估计与基于专家、众包工作者或点名投票的文本编码的基准之间的相关性超过0.90。这种方法通常比使用在大量研究数据上训练的监督分类器获得的位置更为准确。使用经过指令调优的LLM在政策和意识形态空间中定位文本是快速的、成本高效的、可靠的且可重复的（在开放LLM的情况下），即使文本较短且用不同语言书写。我们以谨慎的注意事项结束，强调需要进行实证验证。