Key points are not available for this paper at this time.
مطابقة الصورة والنص هي مهمة متعددة الوسائط رئيسية تهدف إلى نمذجة العلاقة الدلالية بين الصور والنصوص كعلاقة مطابقة. مع ظهور عصر المعلومات متعددة الوسائط، تشهد بيانات الصور والنصوص نموًا هائلًا، وأصبح تحقيق التوافق الدلالي الفعال والدقيق بينهما مسألة جوهرية تهم الأكاديميا والصناعة. في هذه الدراسة، نستكشف قيود نماذج التعلم العميق متعددة الوسائط الحالية في معالجة مهام اقتران الصورة والنص. لذلك، قمنا بتصميم هيكل تعلم عميق متعدد الوسائط متقدم يدمج القدرة عالية المستوى على التمثيل المجرد للشبكات العصبية العميقة للمعلومات البصرية مع مزايا نماذج معالجة اللغة الطبيعية لفهم الدلالات النصية. من خلال إدخال آلية انتباه عابرة للوسائط جديدة واستراتيجية دمج ميزات هرمية، يحقق النموذج اندماجًا عميقًا وتفاعلاً ثنائي الاتجاه بين فضاء ميزات الصورة والنص. بالإضافة إلى ذلك، قمنا بتحسين أهداف التدريب ودوال الخسارة لضمان قدرة النموذج على رسم هيكل الترابط الكامن بين الصور والنصوص بشكل أفضل خلال عملية التعلم. تظهر التجارب أنه مقارنة بالنماذج الحالية لمطابقة الصورة والنص، حقق النموذج الجديد المحسن أداءً محسّنًا بشكل ملحوظ على سلسلة من مجموعات البيانات القياسية. علاوة على ذلك، يُظهر النموذج الجديد تعميمًا ومرونة ممتازة على مجموعات بيانات مفتوحة كبيرة ومتنوعة السيناريو، ويمكنه الحفاظ على أداء مطابقة عالٍ حتى في مواجهة حالات معقدة غير مسبوقة.
درس وانغ وآخرون (الخميس) هذا السؤال.