GSM-Plus: Ein umfassender Benchmark zur Bewertung der Robustheit von LLMs als mathematische Problemlöser

Große Sprachmodelle (LLMs) haben beeindruckende Leistungen in verschiedenen Benchmarks für mathematisches Denken erzielt. Es gibt jedoch zunehmende Debatten darüber, ob diese Modelle mathematisches Wissen tatsächlich verstehen und anwenden oder lediglich auf Abkürzungen für mathematisches Denken zurückgreifen. Ein essentielles und häufig vorkommendes Indiz ist, dass LLMs sich bei leicht veränderten mathematischen Fragen falsch verhalten können. Dies motiviert uns, die Robustheit der mathematischen Denkfähigkeit von LLMs zu evaluieren, indem wir eine Vielzahl von Fragenvariationen testen. Wir stellen den adversarial grade school math (GSM-Plus) Datensatz vor, eine Erweiterung von GSM8K, die mit verschiedenen mathematischen Störungen angereichert ist. Unsere Experimente mit 25 LLMs und 4 Prompting-Techniken zeigen, dass, obwohl LLMs unterschiedliche Ebenen mathematischer Denkfähigkeiten aufweisen, ihre Leistungen alles andere als robust sind. Insbesondere können LLMs selbst bei Problemen, die in GSM8K gelöst wurden, Fehler machen, wenn neue Aussagen hinzugefügt oder die Zielvorgaben der Fragen geändert werden. Wir untersuchen auch, ob durch die Kombination bestehender Prompting-Methoden eine robustere Leistung erzielt werden kann, wobei wir ein iteratives Verfahren ausprobieren, das jeden Zwischen Gedanken basierend auf seinem Denkziel und dem Berechnungsergebnis generiert und überprüft.