Extração de Características e Direcionamento para Aprimorar o Raciocínio em Cadeia de Pensamentos em Modelos de Linguagem

Grandes Modelos de Linguagem (LLMs) demonstram a capacidade de resolver problemas de raciocínio e matemáticos usando a técnica de Cadeia de Pensamentos (CoT). Expansões na duração da CoT, como visto em modelos como DeepSeek-R1, melhoram significativamente esse raciocínio para problemas complexos, mas requerem dados longos de CoT de alta qualidade e caros, além de ajuste fino. Este trabalho, inspirado pelo paradigma de pensamento profundo do DeepSeek-R1, utiliza uma técnica de direcionamento para melhorar a capacidade de raciocínio de um LLM sem conjuntos de dados externos. Nosso método primeiro emprega Autoencoders Esparsos (SAEs) para extrair características interpretáveis da CoT comum. Essas características são então usadas para direcionar os estados internos do LLM durante a geração. Reconhecendo que muitos LLMs não possuem SAEs pré-treinados correspondentes, introduzimos ainda um novo algoritmo de direcionamento livre de SAE, que calcula diretamente as direções de direcionamento a partir das ativações residuais de um LLM, eliminando a necessidade de um SAE explícito. Resultados experimentais demonstram que tanto nossos algoritmos de direcionamento baseados em SAE quanto os subsequentes livres de SAE melhoram significativamente as capacidades de raciocínio dos LLMs.