Key points are not available for this paper at this time.
Räumliches Denken ist ein entscheidender Bestandteil sowohl biologischer als auch künstlicher Intelligenz. In dieser Arbeit präsentieren wir eine umfassende Studie über die Fähigkeit aktueller hochentwickelter großer Sprachmodelle (LLMs) im räumlichen Denken. Um unsere Studie zu unterstützen, haben wir ein neuartiges Rahmenwerk zur Charakterisierung des räumlichen Denkens (SpaRC) und Datensätze für räumliche Denkpfade (SpaRP) erstellt und beigetragen, um ein tiefgehendes Verständnis der räumlichen Beziehungen und Kompositionen sowie der Nützlichkeit von Ketten räumlichen Denkens zu ermöglichen. Wir fanden heraus, dass alle hochentwickelten LLMs in den Datensätzen nicht gut abschneiden – ihre Leistungen sind über verschiedene Konfigurationen hinweg durchweg niedrig. Die Fähigkeit zum räumlichen Denken verbessert sich erheblich, wenn die Modellgrößen skaliert werden. Das Feintuning sowohl großer Sprachmodelle (z.B. Llama-2-70B) als auch kleinerer (z.B. Llama-2-13B) kann ihre F1-Werte um 7–32 absolute Punkte erheblich verbessern. Wir stellten auch fest, dass die führenden proprietären LLMs ihre Open-Source-Pendants in Bezug auf topologisches räumliches Verständnis und Denken weiterhin erheblich übertreffen.
Rizvi et al. (Do,) haben diese Frage untersucht.