Prompting Maiêutico: Raciocínio Logicamente Consistente com Explicações Recursivas

Apesar de suas impressionantes capacidades, grandes modelos de linguagem pré-treinados (LMs) enfrentam dificuldades com raciocínio consistente; recentemente, a sugestão de LMs para gerar explicações que orientam a inferência tornou-se uma direção promissora para corrigir isso. No entanto, essas abordagens são fundamentalmente limitadas pela correção das explicações, que muitas vezes são ruidosas e inconsistentes. Neste trabalho, desenvolvemos o Prompting Maiêutico, que infere uma resposta correta para uma pergunta mesmo a partir das gerações ruidosas e inconsistentes do LM. O Prompting Maiêutico induz uma árvore de explicações de forma abductiva (por exemplo, X é verdadeiro, porque ...) e recursiva, e então enquadra a inferência como um problema de satisfatibilidade sobre essas explicações e suas relações lógicas. Testamos o Prompting Maiêutico para QA verdadeiro/falso em três benchmarks desafiadores que exigem raciocínio complexo de senso comum. O Prompting Maiêutico alcança até 20% de precisão melhor do que os métodos de prompting de última geração e, como uma abordagem totalmente não supervisionada, se apresenta de forma competitiva com modelos supervisionados. Também mostramos que o Prompting Maiêutico melhora a robustez na inferência enquanto fornece racionalizações interpretáveis.