主动层对比解码减少大型语言模型生成中的幻觉

最近的解码方法通过优化生成过程中的下一个令牌选择来提高大型语言模型（LLMs）的事实性。这些方法通常在令牌级别上运作，利用内部表示来抑制表面模式。然而，LLMs仍然容易出现幻觉，尤其是在较长上下文中。在本文中，我们提出了主动层对比解码（ActLCD），这是一种新颖的解码策略，主动决定在生成过程中何时应用对比层。通过将解码视为一个顺序决策问题，ActLCD采用由奖励意识分类器引导的强化学习策略，以优化超出令牌级别的事实性。我们的实验表明，ActLCD在五个基准测试中超越了最先进的方法，展示了其在多种生成场景中抑制幻觉的有效性.