CELLO: Kausale Bewertung großer Vision-Sprach-Modelle

Kausales Denken ist grundlegend für menschliche Intelligenz und entscheidend für effektives Entscheiden in realen Umgebungen. Trotz der jüngsten Fortschritte bei großen Vision-Sprach-Modellen (LVLMs) bleibt ihre Fähigkeit, Kausalität zu verstehen, unklar. Frühere Arbeiten konzentrieren sich typischerweise auf Alltagskausalität zwischen Ereignissen und/oder Handlungen, was für Anwendungen wie verkörperte Agenten nicht ausreicht und die explizit definierten kausalen Graphen vermisst, die für formales kausales Denken erforderlich sind. Um diese Einschränkungen zu überwinden, führen wir eine feingliederte und einheitliche Definition von Kausalität ein, die Interaktionen zwischen Menschen und/oder Objekten einbezieht. Auf der Grundlage dieser Definition erstellen wir einen neuartigen Datensatz, CELLO, der aus 14.094 kausalen Fragen besteht, die alle vier Ebenen der Kausalität abdecken: Entdeckung, Assoziation, Intervention und kontrafaktisch. Dieser Datensatz übertrifft die traditionelle Alltagskausalität, indem er explizite kausale Graphen einbezieht, die die Interaktionen zwischen Menschen und Objekten detailliert darstellen. Umfassende Experimente mit CELLO zeigen, dass aktuelle LVLMs weiterhin Schwierigkeiten mit kausalen Denkaufgaben haben, aber erheblich von unserem vorgeschlagenen CELLO-CoT profitieren können, einer kausal inspirierten Denkprozess-Anregungsstrategie. Sowohl quantitative als auch qualitative Analysen dieser Studie liefern wertvolle Einblicke für zukünftige Forschungen. Unsere Projektseite ist unter https://github.com/OpenCausaLab/CELLO.