LLMEmbed：重新思考轻量级LLM在文本分类中的真正功能

随着大规模语言模型（LLM）的蓬勃发展，提示学习已成为一个有前景的方法，主要在各个研究领域中进行研究。最近，许多基于提示学习的尝试被提出，以改善文本分类的表现。然而，这些方法大多基于启发式的思维链（CoT），往往更复杂但效率较低。在本文中，我们重新思考基于LLM的文本分类方法，提出了一种简单有效的迁移学习策略，即LLMEmbed，旨在解决这一经典而又具有挑战性的任务。为了说明这一点，我们首先研究如何通过不同网络深度的各种轻量级LLM来正确提取和融合文本嵌入，以提高其鲁棒性和区分度，然后将这种嵌入用于训练分类器。我们在公开可用的数据集上进行广泛实验，结果显示LLMEmbed在使用轻量级LLM骨干网络时获得了强大的性能，同时享有较低的训练开销，相较于基于较大LLM（如GPT-3）和复杂的基于提示的策略的最新方法。我们的LLMEmbed在公开可用的基准上实现了足够的准确性，而无需任何微调，同时仅使用4%的模型参数、1.8%的电力消耗和1.5%的运行时间。代码可在：https://github.com/ChunLiu-cs/LLMEmbed-ACL2024获取。