دمج الفيوجن المبكر والمتأخر معًا: إطار عمل هجيني لمطابقة الصور والنصوص

تعد مطابقة الصور والنصوص مهمة صعبة في التعلم عبر أوضاع متعددة نظرًا للاختلاف في تمثيل البيانات بين أوضاع الصور والنصوص المختلفة. تعتمد الطرق السائدة على الفيوجن المتأخر لتوليد تشابه الصور والنصوص على ميزات متعددة الأوضاع مشفرة، وتبذل جهدًا لالتقاط الروابط داخل الوضع مع تكاليف تدريب مرتفعة بشكل ملحوظ. في هذا العمل، نقترح دمج الفيوجن المبكر والمتأخر معًا (CELFT)، وهو إطار عمل هجيني عالمي يمكنه التغلب بشكل فعال على العيوب المذكورة أعلاه في نظام الفيوجن المتأخر. في إطار CELFT المقترح، يمكن أن تسهل الهيكل الهجين الذي يجمع بين الفيوجن المبكر والمتأخر التفاعل بين أوضاع الصورة والنص في مراحل مبكرة. علاوة على ذلك، تكمل هاتان الاستراتيجيتان من الفيوجن بعضهما البعض في التقاط المعلومات بين الأوضاع وفي داخل الوضع، مما يضمن تعلم تشابه أكثر دقة بين الصور والنصوص. في التجارب، اخترنا أربعة من أحدث المنهجيات المعتمدة على نظام الفيوجن المتأخر كنماذج أساسية، ودمجناها مع إطار CELFT الخاص بنا. تظهر النتائج على مجموعتين شهيرتين من البيانات للصور والنصوص MSCOCO وFlickr30K أن أداء المطابقة لجميع النماذج الأساسية قد تحسن بشكل كبير مع تقليل ملحوظ في وقت التدريب.