大型语言模型理解用户偏好吗？对用户评分预测的LLM评估

大型语言模型（LLMs）在以零-shot或少-shot的方式对新任务进行泛化方面展现了卓越的能力。然而，LLMs在多大程度上能够理解用户基于其过去行为的偏好仍然是一个新兴且尚不清晰的研究问题。传统上，协同过滤（CF）一直是处理这些任务的最有效方法，主要依赖于大量的评分数据。相比之下，LLMs通常需要 considerably 更少的数据，同时对每个项目，如电影或产品，保持全面的世界知识。在本文中，我们对CF和LLMs在用户评分预测这一经典任务中的表现进行了全面审查，该任务涉及根据用户过去的评分预测用户对候选项目的评分。我们调查了不同规模的多种LLM，参数范围从2.5亿到5400亿，并评估它们在零-shot、少-shot和微调场景中的表现。我们进行了全面分析，以比较LLMs和强大的CF方法，发现零-shot LLMs不及传统推荐模型，后者可以访问用户交互数据，表明用户交互数据的重要性。然而，通过微调，LLMs在仅用少量训练数据的情况下达到了可比甚至更好的性能，展现了它们在数据效率方面的潜力。