Durch meine Augen: Verankerung multimodaler großer Sprachmodelle mit Sensordaten über visuelles Prompting

Große Sprachmodelle (LLMs) haben außergewöhnliche Fähigkeiten in verschiedenen Bereichen gezeigt. Die Nutzung von LLMs für allgegenwärtige Sensoranwendungen bleibt jedoch herausfordernd, da bestehende textbasierte Prompt-Methoden eine signifikante Leistungsverschlechterung aufweisen, wenn sie lange Sensordatensequenzen verarbeiten. Wir schlagen einen visuellen Prompt-Ansatz für Sensordaten unter Verwendung multimodaler LLMs (MLLMs) vor. Wir entwerfen einen visuellen Prompt, der MLLMs anweist, visualisierte Sensordaten neben den Zielbeschreibungen der sensorischen Aufgaben zu nutzen. Darüber hinaus führen wir einen Visualisierungsgenerator ein, der die Erstellung optimaler Visualisierungen automatisiert, die auf eine gegebene sensorische Aufgabe zugeschnitten sind, und die Notwendigkeit spezifischen Vorwissens eliminiert. Wir haben unseren Ansatz bei neun sensorischen Aufgaben mit vier Sensormodaliäten bewertet und eine durchschnittlich um 10 % höhere Genauigkeit als textbasierte Prompts erreicht sowie die Token-Kosten um das 15,8-fache gesenkt. Unsere Ergebnisse heben die Effektivität und Kosteneffizienz visueller Prompts mit MLLMs für verschiedene sensorische Aufgaben hervor.