MR-MLLM: Gegenseitige Verstärkung von multimodalem Verständnis und visueller Wahrnehmung

In den letzten Jahren haben multimodale große Sprachmodelle (MLLMs) bemerkenswerte Fähigkeiten bei Aufgaben wie visuellem Fragenbeantworten und alltäglichem Denken gezeigt, während visuelle Wahrnehmungsmodelle bedeutende Fortschritte bei Wahrnehmungsaufgaben wie Erkennung und Segmentierung erzielt haben. MLLMs konzentrieren sich jedoch hauptsächlich auf hochgradige Bild-Text-Interpretationen und haben Schwierigkeiten mit feineren visuellen Verständnis, während visuelle Wahrnehmungsmodelle normalerweise unter Verlagerungen der Verteilungsdaten in offenen Welten leiden aufgrund ihrer begrenzten Modellkapazität. Um diese Herausforderungen zu überwinden, schlagen wir das gegenseitig verstärkte multimodale große Sprachmodell (MR-MLLM) vor, ein neuartiges Framework, das synergetisch die visuelle Wahrnehmung und multimodales Verständnis verbessert. Zunächst wird ein gemeinsames Abfrage-Fusionsmechanismus vorgeschlagen, um detaillierte visuelle Eingaben von Wahrnehmungsmodellen harmonisch mit der linguistischen Tiefe von Sprachmodellen zu vereinen, wodurch das multimodale Verständnis und die visuelle Wahrnehmung synergistisch verbessert werden. Zweitens schlagen wir die perception-enhanced cross-modal integration method vor, die neuartige Modalitäten aus den Ausgaben der visuellen Wahrnehmung integriert, wie Objekt-Erkennungsrahmen, um subtile visuelle Elemente zu erfassen und somit das Verständnis sowohl von visuellem als auch von textuellem Daten zu bereichern. Darüber hinaus wird ein innovativer Mechanismus zur Generierung von Eingabeaufforderungen mit eingebetteter Wahrnehmung vorgeschlagen, um wahrnehmungsbezogene Informationen in die Eingabeaufforderungen des Sprachmodells einzubetten und die Antworten kontextuell und wahrnehmungsbezogen für eine genauere multimodale Interpretation auszurichten. Umfangreiche Experimente zeigen die überlegene Leistung von MR-MLLM bei verschiedenen Aufgaben zum multimodalen Verständnis und zur visuellen Wahrnehmung, insbesondere bei solchen, die eine Wahrnehmung in Grenzfällen und ein feines Sprachverständnis erfordern.