Weniger schauen, mehr denken: Rollout-gesteuertes adaptives Pixelraumschlussfolgern

Vision-Language-Modelle (VLMs) glänzen in vielen multimodalen Aufgaben, haben jedoch häufig Schwierigkeiten mit Aufgaben, die ein präzises Verständnis und die Handhabung feiner visueller Elemente erfordern. Dies liegt hauptsächlich an Informationsverlusten während der Bildkodierung oder unzureichender Aufmerksamkeit für kritische Bereiche. Jüngste Arbeiten haben vielversprechende Ergebnisse gezeigt, indem sie pixelorientierte visuelle Informationen in den Denkprozess integriert haben, wodurch VLMs während ihres Denkprozesses auf hochauflösende visuelle Details zugreifen können. Allerdings wird diese pixelorientierte Information oft überbeansprucht, was zu Ineffizienz und Ablenkung durch irrelevante visuelle Details führt. Um diese Herausforderungen zu bewältigen, schlagen wir den ersten Rahmen für adaptives Pixelraumschlussfolgern vor, der dynamisch die notwendigen pixelorientierten Operationen basierend auf der Eingabeanfrage bestimmt. Konkret wenden wir zunächst operation-aware überwachte Feinabstimmung an, um eine Basiskompetenz im textlichen Schließen und visuellen Operationen zu etablieren, und entwerfen dann einen neuartigen rollout-gesteuerten Verstärkungslernrahmen, der sich auf das Feedback der eigenen Antworten des Modells stützt, was es dem VLM ermöglicht, zu bestimmen, wann Pixeloperationen basierend auf der Schwierigkeit der Anfrage ausgelöst werden sollten. Experimente an umfangreichen multimodalen Schlussfolgerungsbenchmarks zeigen, dass unser Modell eine überlegene Leistung erreicht und gleichzeitig unnötige visuelle Operationen erheblich reduziert. Beeindruckend ist, dass unser Modell 73,4\% Genauigkeit auf HR-Bench 4K erzielt und dabei ein Werkzeugnutzungsverhältnis von nur 20,1\% aufrechterhält, was die Genauigkeit verbessert und gleichzeitig die Werkzeugnutzung im Vergleich zu vorherigen Methoden um 66,5\% reduziert.