Die Achillesferse aufdecken: Bewertung der Fähigkeit von LLMs, Fehler im mathematischen Denken zu handhaben

Große Sprachmodelle (LLMs) wurden auf mathematische Wortprobleme (MWPs) angewendet, mit transformativen Auswirkungen, die die Herangehensweise und Lösung dieser komplexen Probleme in verschiedenen Bereichen, einschließlich Bildungseinrichtungen, revolutionieren. Die Bewertung dieser Modelle priorisiert oft die endgültige Genauigkeit und übersehen den entscheidenden Aspekt der Denkfähigkeiten. Diese Arbeit schließt diese Lücke, indem sie sich auf die Fähigkeit der LLMs konzentriert, Denkfehler zu erkennen und zu korrigieren. Wir führen einen neuartigen Datensatz MWP-MISTAKE ein, der MWPs mit sowohl korrekten als auch inkorrekten Denkansätzen umfasst, die durch regelbasierte Methoden und kleinere Sprachmodelle generiert wurden. Unsere umfassende Benchmarking-Analyse liefert bedeutende Einblicke in die Stärken und Schwächen der hochmodernen Modelle, wie GPT-4o, GPT-4, GPT-3.5Turbo und andere. Wir heben die überlegene Leistung von GPT-o bei Fehlererkennung und -bereinigung hervor und die anhaltenden Herausforderungen, denen kleinere Modelle gegenüberstehen. Darüber hinaus identifizieren wir Probleme im Zusammenhang mit Datenkontamination und Memorierung, die die Zuverlässigkeit der LLMs in realen Anwendungen beeinträchtigen. Unsere Ergebnisse betonen die Bedeutung einer rigorosen Bewertung der Denkprozesse und schlagen zukünftige Richtungen vor, um die Verallgemeinerung und Robustheit der LLMs bei mathematischen Problemlösungen zu verbessern.