نحو فهم التأسيس المرئي في نماذج اللغة المرئية

يشير التأسيس المرئي إلى قدرة النموذج على تحديد منطقة ضمن بعض المدخلات المرئية تتطابق مع وصف نصي. نتيجة لذلك، يمكن للنموذج المزود بقدرات التأسيس المرئي استهداف مجموعة واسعة من التطبيقات في مجالات متعددة، بما في ذلك فهم التعبيرات المرجعية، والإجابة على أسئلة تتعلق بالتفاصيل الدقيقة في الصور أو مقاطع الفيديو، وتوضيح السياق البصري من خلال الإشارة بشكل صريح إلى الكيانات، بالإضافة إلى السيطرة على المستويات العالية والمنخفضة في البيئات المحاكية والحقيقية. في هذه الورقة الاستقصائية، نستعرض الأعمال التمثيلية عبر المجالات الرئيسية للبحث في نماذج اللغة المرئية العامة الحديثة (VLMs). أولاً، نوضح أهمية التأسيس في VLMs، ثم نفصل المكونات الأساسية للنموذج المعاصر لتطوير النماذج المؤسَّسة، ونفحص تطبيقاتها العملية، بما في ذلك المعايير ومقاييس التقييم للتوليد المتعدد الأنماط المؤسس. كما نناقش العلاقات المتعددة الأوجه بين التأسيس المرئي، وسلسلة الفكر متعددة الأنماط، والتفكير في VLMs. أخيرًا، نقوم بتحليل التحديات المتأصلة في التأسيس المرئي ونقترح اتجاهات واعدة للبحث المستقبلي.