DisCo: वीडियो MLLMs में स्पष्ट और सार्थक दृश्य संकुचन की ओर

वीडियो मल्टीमॉडल बड़े भाषा मॉडलों (वीडियो MLLMs) में, दृश्य संकुचन प्रक्रिया वीडियो सामग्री को LLM इनपुट के लिए प्रतिनिधि टोकन में बदलने में महत्वपूर्ण भूमिका निभाती है। जबकि संकुचन के लिए रैखिक प्रोजेक्टर का व्यापक रूप से उपयोग किया जाता है, ये वीडियो पर लागू होने पर अर्थ समानता और अस्थायी असंगति को प्रस्तुत करते हैं। इसके विपरीत, रिसैम्पलर की संरचना इन चैलेंजों से निपटने में आशा दिखाती है, लेकिन एक प्रभावी समाधान अभी तक अन्वेषण नहीं किया गया है। रिसैम्पलर संरचनाओं से प्रेरणा लेते हुए, हम DisCo का परिचय देते हैं, जो वीडियो MLLMs के लिए सार्थक रूप से स्पष्ट और अस्थायी रूप से संगत दृश्य टोकन उत्पन्न करने के लिए डिज़ाइन की गई एक नवीन दृश्य संकुचन विधि है। DisCo में दो मुख्य घटक होते हैं: (1) एक दृश्य अवधारणा भेदक (VCD) मॉड्यूल, जो वीडियो में भेदक अवधारणाओं के साथ जोड़कर दृश्य टोकनों के लिए अद्वितीय अर्थ सौंपता है। (2) एक अस्थायी फोकस कैलिबरेटर (TFC) मॉड्यूल, जो प्रत्येक वीडियो फ्रेम में दृश्य टोकनों का वीडियो तत्वों के लिए लगातार अस्थायी फोकस सुनिश्चित करता है। कई वीडियो MLLM ढांचे पर व्यापक प्रयोगों के माध्यम से, हम यह प्रदर्शित करते हैं कि DisCo विभिन्न वीडियो समझ बेंचमार्क पर पहले के अत्याधुनिक विधियों की तुलना में उल्लेखनीय रूप से बेहतर प्रदर्शन करता है, जबकि अर्थ समानता में कमी के कारण उच्च टोकन दक्षता भी प्राप्त करता है। कोड: https://github.com/ZJHTerry18/DisCo।