Jüngste Fortschritte bei multimodalen Modellen haben Fragen aufgeworfen, ob Vision- und Sprachmodelle (VLMs) cross-modale Informationen auf eine Weise integrieren, die der menschlichen Kognition entspricht. Ein gut untersuchter Testfall in diesem Bereich ist der Bouba-Kiki-Effekt, bei dem Menschen Pseudowörter wie "bouba" zuverlässig mit runden Formen und "kiki" mit gezackten assoziieren. Angesichts der gemischten Beweise, die in früheren Studien für diesen Effekt in VLMs gefunden wurden, präsentieren wir eine umfassende Neubewertung, die sich auf zwei Varianten von CLIP, ResNet und Vision Transformer (ViT), konzentriert, aufgrund ihrer zentralen Rolle in vielen modernen VLMs. Wir wenden zwei komplementäre Methoden an, die eng nach menschlichen Experimenten modelliert sind: eine an Aufforderungen orientierte Bewertung, die Wahrscheinlichkeiten als Modellpräferenz nutzt, und wir verwenden Grad-CAM als neuartigen Ansatz zur Interpretation der visuellen Aufmerksamkeit bei Aufgaben zur Zuordnung von Formen und Wörtern. Unsere Ergebnisse zeigen, dass diese Modelle den Bouba-Kiki-Effekt nicht konsistent aufweisen. Während ResNet eine Vorliebe für runde Formen zeigt, fehlt es der Gesamtleistung beider Modelle an den erwarteten Assoziationen. Darüber hinaus zeigt der direkte Vergleich mit früheren menschlichen Daten zu derselben Aufgabe, dass die Reaktionen der Modelle erheblich hinter dem robusten, modal integrierten Verhalten zurückbleiben, das für die menschliche Kognition charakteristisch ist. Diese Ergebnisse tragen zur laufenden Debatte darüber bei, inwieweit VLMs cross-modale Konzepte tatsächlich verstehen, und heben Einschränkungen in ihren internen Repräsentationen und ihrer Übereinstimmung mit menschlichen Intuitionen hervor.
Kouwenhoven et al. (Mon,) haben diese Frage untersucht.