Em Direção a uma Cadeia de Pensamento Fiel: Modelos de Linguagem de Grande Porte estão Conectando Raciocínios

Modelos de linguagem de grande porte (LLMs) enfrentam sérios problemas de fidelidade na cadeia de pensamento (CoT). Trabalhos anteriores tentam medir e explicar isso, mas carecem de análises profundas dentro das CoTs e não consideram as interações entre todos os componentes de raciocínio de forma conjunta. Neste artigo, primeiro estudamos a questão da fidelidade da CoT na granularidade das etapas da CoT, identificamos dois paradigmas de raciocínio: raciocínio centralizado e raciocínio distribuído, e encontramos sua relação com a fidelidade. Subsequentemente, realizamos uma análise conjunta da relevância causal entre o contexto, a CoT e a resposta durante o raciocínio. O resultado prova que, quando o LLM prevê respostas, ele pode recordar informações corretas ausentes na CoT a partir do contexto, levando a problemas de falta de fidelidade. Finalmente, propomos o método de ponte inferencial para mitigar esse problema, no qual usamos o método de atribuição para recordar informações como dicas para a geração de CoT e filtramos CoTs ruidosos com base em sua consistência semântica e pontuações de atribuição. Experimentos extensivos demonstram que nossa abordagem alivia efetivamente o problema da CoT não fiel.