增强生成语言模型中句子嵌入的简单技术

句子嵌入是自然语言处理领域的一项基础任务，广泛应用于搜索引擎、专家系统和问答平台。随着LLaMA和Mistral等大型语言模型的持续发展，句子嵌入的研究近期取得了显著突破。然而，这些进展主要涉及微调场景，使得对于计算高效的直接推理方法在句子表示方面的探索仍处于初期阶段。本文旨在填补这一研究空白。通过全面的实验，我们挑战了广泛认可的观点，即从预训练语言模型（PLMs）中推导句子嵌入时需要明确的一字限制。我们证明了这种方法在直接推理场景下对生成模型有益，但对于判别模型或生成PLMs的微调并不是必要的。这个发现为未来研究中手动模板的设计提供了新的视角。在此基础上，我们提出了两种创新的提示工程技术，能够进一步增强PLMs原始嵌入的表现力：假想思维链和知识增强。我们确认了它们在各种PLM类型中的有效性，并详细探讨了其成功的潜在因素。