تعزيز نماذج اللغة الكبيرة متعددة الأنماط باستخدام مولد المطالبات البصرية متعددة الحالات لإثراء التمثيلات البصرية

حققت نماذج اللغة الكبيرة متعددة الأنماط (MLLMs) أداءً متقدمًا في عدة مهام بصرية لغوية من خلال دمج التمثيلات البصرية مع LLMs باستخدام بعض المحولات البصرية. في هذه الورقة، نثبت أولًا أن المحولات التي تستخدم استعلامات Transformer مثل Q-former هي طريقة تعلم متعدد الحالات مبسطة لا تأخذ في الاعتبار تباين/ارتباط الحالات. ثم نقترح مكونًا عامًا يسمى مولد المطالبات البصرية متعدد الحالات (MIVPG) لدمج تمثيلات بصرية معززة في LLMs بالاستفادة من ارتباط الحالات بين الصور أو المقاطع لنفس العينة. يُظهر التقييم الكمي على ثلاث مجموعات بيانات عامة من مجالات الرؤية واللغة (VL) المختلفة أن MIVPG المقترح يحسن من Q-former في المهام الرئيسية لـ VL.