Key points are not available for this paper at this time.
最近的研究展示了 ChatGPT 在各种文本注释和分类任务中的良好潜力。然而，ChatGPT 是非确定性的，这意味着与人类编码者一样，相同的输入可能会导致不同的输出。因此，测试 ChatGPT 的可靠性似乎是合适的。因此，本研究调查了 ChatGPT 在文本注释和分类方面的零样本能力的一致性，重点关注不同的模型参数、提示变体和相同输入的重复。基于将网站文本区分为新闻和非新闻的实际分类任务，结果显示 ChatGPT 的分类输出在可靠性方面可能未达到科学阈值。例如，即使提示中的措辞发生微小变化或重复相同的输入，也可能导致不同的输出。虽然从多次重复中汇总输出可以提高可靠性，但本研究建议在使用 ChatGPT 进行零样本文本注释时要谨慎，并强调需要进行彻底的验证，例如与人工标注的数据进行比较。不推荐无监督地将 ChatGPT 应用于文本注释和分类。
Michael Reiss (Mon,) 研究了这个问题。