Agentes de Modelo de Linguagem Aprimorados por Lógica para Simulações Sociais Confiáveis

Apresentamos a estrutura de Agentes de Modelo de Linguagem Aprimorados por Lógica (LELMA), uma abordagem nova para aumentar a confiabilidade das simulações sociais que utilizam grandes modelos de linguagem (LLMs). Embora os LLMs tenham ganhado atenção como agentes para simular o comportamento humano, sua aplicabilidade nesse papel é limitada por questões como alucinações inerentes e inconsistências lógicas. O LELMA aborda esses desafios integrando LLMs com IA simbólica, permitindo a verificação lógica do raciocínio gerado pelos LLMs. Este processo de verificação fornece feedback corretivo, refinando a saída do raciocínio. A estrutura consiste em três componentes principais: um LLM-Razoador para produzir raciocínio estratégico, um LLM-Tradutor para mapear raciocínio em linguagem natural para consultas lógicas, e um Solver para avaliar essas consultas. Este estudo se concentra na tomada de decisão em cenários de teoria dos jogos como um modelo de interação humana. Experimentos envolvendo o jogo do Gavião-Pombo, Dilema do Prisioneiro e Caça ao Veado destacam as limitações dos LLMs de ponta, GPT-4 Omni e Gemini 1.0 Pro, na produção de raciocínio correto nesses contextos. O LELMA demonstra alta precisão na detecção de erros e melhora a correção do raciocínio dos LLMs por meio de auto-refinamento, particularmente no GPT-4 Omni.