Maieutisches Prompting: Logisch konsistente Argumentation mit rekursiven Erklärungen

Trotz ihrer beeindruckenden Fähigkeiten haben große, vortrainierte Sprachmodelle (LMs) Schwierigkeiten mit konsistentem Denken; kürzlich ist das Prompting von LMs zur Generierung von Erklärungen, die die Inferenz selbst leiten, als vielversprechende Richtung entstanden, um dies zu verbessern. Diese Ansätze sind jedoch grundsätzlich durch die Korrektheit der Erklärungen begrenzt, die oft selbst verrauscht und inkonsistent sind. In dieser Arbeit entwickeln wir das maieutische Prompting, das auch aus den verrauschten und inkonsistenten Generierungen des LMs eine korrekte Antwort auf eine Frage ableitet. Das maieutische Prompting induziert einen Baum von Erklärungen abduktiv (z. B. X ist wahr, weil ...) und rekursiv, und formuliert die Inferenz dann als ein Zufriedenheitsproblem über diese Erklärungen und deren logische Beziehungen. Wir testen das maieutische Prompting für True/False QA an drei herausfordernden Benchmarks, die komplexes Alltagswissen erfordern. Das maieutische Prompting erreicht bis zu 20% bessere Genauigkeit als die derzeit besten Prompting-Methoden und schneidet als vollständig unbeaufsichtigter Ansatz wettbewerbsfähig im Vergleich zu beaufsichtigten Modellen ab. Wir zeigen außerdem, dass das maieutische Prompting die Robustheit in der Inferenz verbessert und gleichzeitig interpretierbare Begründungen liefert.