Desacoplamento do Conhecimento e Raciocínio em LLMs: Uma Exploração Usando a Teoria Cognitiva de Sistema Duplo

Embora modelos de linguagem de grande escala (LLMs) aproveitem tanto o conhecimento quanto o raciocínio durante a inferência, a capacidade de distinguir entre eles desempenha um papel crucial na análise, interpretabilidade e desenvolvimento do modelo. Inspirados na teoria cognitiva de sistema duplo, propomos uma estrutura de atribuição cognitiva para desacoplar a contribuição do conhecimento e do raciocínio. Em particular, a cognição dos LLMs é decomposta em duas fases distintas, porém complementares: recuperação de conhecimento (Fase 1) e ajuste de raciocínio (Fase 2). Para separar essas fases, os LLMs são solicitados a gerar respostas sob dois modos cognitivos diferentes, pensamento rápido e pensamento lento, respectivamente. O desempenho sob diferentes modos cognitivos é analisado para quantificar a contribuição do conhecimento e do raciocínio. Esta arquitetura é empregada em 15 LLMs em 3 conjuntos de dados. Os resultados revelam: (1) O ajuste de raciocínio é específico de domínio, beneficiando áreas intensivas de raciocínio (por exemplo, matemática, física e química) e potencialmente prejudicando áreas intensivas de conhecimento. (2) A escalabilidade de parâmetros melhora tanto o conhecimento quanto o raciocínio, com melhorias no conhecimento sendo mais pronunciadas. Além disso, a escalabilidade de parâmetros torna o raciocínio dos LLMs significativamente mais prudente, enquanto moderadamente mais inteligente. (3) O conhecimento reside principalmente nas camadas inferiores da rede, enquanto o raciocínio opera em camadas superiores. Nossa estrutura não apenas ajuda a entender os LLMs sob uma perspectiva de "desacoplamento", mas também fornece novas percepções sobre pesquisas existentes, incluindo leis de escalabilidade, edição hierárquica de conhecimento e limitações do raciocínio em modelos pequenos.