Os Modelos de Linguagem Podem Fingir Ser Solucionadores? Simulação de Código Lógico com LLMs

Modelos de linguagem de grande porte baseados em transformadores (LLMs) demonstraram um potencial significativo na resolução de problemas lógicos. Aproveitando as grandes capacidades dos LLMs para atividades relacionadas a código, várias estruturas que aproveitam solucionadores lógicos para raciocínio lógico foram propostas recentemente. Enquanto a pesquisa existente se concentra predominantemente em ver os LLMs como solucionadores de lógica em linguagem natural ou tradutores, seus papéis como intérpretes e executores de código lógico receberam atenção limitada. Este estudo investiga um aspecto inédito, a saber, a simulação de código lógico, que exige que os LLMs emulem solucionadores lógicos na previsão dos resultados de programas lógicos. Para investigar mais a fundo essa tarefa inovadora, formulamos três perguntas de pesquisa: Os LLMs podem simular eficientemente as saídas de códigos lógicos? Que força surge junto com a simulação de código lógico? E quais armadilhas? Para abordar essas inquirições, montamos três novos conjuntos de dados adaptados para a tarefa de simulação de código lógico e realizamos experimentos detalhados para estabelecer o desempenho de referência dos LLMs na simulação de código. Subsequentemente, introduzimos uma técnica pioneira de simulação de código baseada em LLM, Cadeias Duplas de Lógica (DCoL). Esta técnica defende uma abordagem de pensamento de dupla via para os LLMs, que demonstrou um desempenho de ponta em comparação com outras estratégias de prompt de LLM, alcançando uma melhoria notável na precisão de 7,06% com o GPT-4-Turbo.