Links- und Rechtshemisphären gemeinsam nutzen: Auf dem Weg zu Vision und Sprachplanung

Große Sprachmodelle (LLMs) und große multimodale Modelle (LMMs) haben bemerkenswerte Entscheidungsmaske-Fähigkeiten bei einer Vielzahl von Aufgaben gezeigt. Sie operieren jedoch grundsätzlich in der Sprachraumplanung und mangeln an der Fähigkeit zur visuellen und räumlichen Vorstellung. Im Gegensatz dazu nutzen Menschen beide Hemisphären des Gehirns für Sprach- und visuelle Planung während des Denkprozesses. Daher führen wir in dieser Arbeit einen neuartigen Rahmen für die Vision-Sprachplanung ein, um eine gleichzeitige visuelle und sprachliche Planung für Aufgaben mit Eingaben jeder Art durchzuführen. Unser Rahmen integriert die visuelle Planung, um komplexe Umgebungsdetails zu erfassen, während die Sprachplanung die logische Kohärenz des gesamten Systems verbessert. Wir bewerten die Effektivität unseres Rahmens bei Vision-Sprach-Aufgaben, rein visuellen Aufgaben und rein sprachlichen Aufgaben. Die Ergebnisse zeigen die überlegene Leistung unseres Ansatzes, was darauf hindeutet, dass die Integration von visueller und sprachlicher Planung zu einer kontextuell bewussteren Aufgabenausführung führt.