Multi-LogiEval: Evaluierung der Fähigkeit zu mehrstufigem logischen Denken großer Sprachmodelle

Da große Sprachmodelle (LLMs) weiterhin bemerkenswerte Leistungen bei Aufgaben des Verstehens natürlicher Sprache zeigen, besteht ein dringender Bedarf, ihre Fähigkeit zum menschenähnlichen mehrstufigen logischen Denken zu messen. Bestehende Bewertungsbenchmarks für logisches Denken konzentrieren sich oft hauptsächlich auf vereinfachtes ein- oder mehrstufiges Denken mit einer begrenzten Anzahl von Schlussfolgerungsregeln. Darüber hinaus stellt das Fehlen von Datensätzen zur Bewertung nicht-monotoner Argumentation eine entscheidende Lücke dar, da es enger mit menschenähnlichem Denken übereinstimmt. Um diese Einschränkungen zu überwinden, schlagen wir Multi-LogiEval vor, einen umfassenden Bewertungsdatensatz, der mehrstufiges logisches Denken mit verschiedenen Schlussfolgerungsregeln und -tiefen umfasst. Multi-LogiEval deckt drei Logiktypen ab – propositionale, erster Ordnung und nicht-monoton – und besteht aus mehr als 30 Schlussfolgerungsregeln sowie mehr als 60 ihrer Kombinationen mit verschiedenen Tiefen. Mit Hilfe dieses Datensatzes führen wir Bewertungen einer Reihe von LLMs durch, einschließlich GPT-4, ChatGPT, Gemini-Pro, Yi, Orca und Mistral, wobei wir eine Zero-Shot-Denkweise anwenden. Die experimentellen Ergebnisse zeigen, dass es einen signifikanten Rückgang der Leistung der LLMs gibt, wenn die Denkschritte/Tiefen zunehmen (durchschnittliche Genauigkeit von ~68 % bei Tiefe 1 auf ~43 % bei Tiefe 5). Zudem führen wir eine gründliche Untersuchung der von LLMs generierten Denkketten durch, die mehrere wichtige Erkenntnisse offenbart. Wir glauben, dass Multi-LogiEval zukünftige Forschungsanstrengungen zur Bewertung und Verbesserung der Fähigkeit zum logischen Denken von LLMs erleichtert. Die Daten sind verfügbar unter https://github.com/Mihir3009/Multi-LogiEval.