شبكة استنتاج العلاقة ثنائية الاتجاه لتجزئة الصورة الموجهة

لا تقوم معظم الطرق الحالية بصياغة الإرشاد المتبادل بين الرؤية واللغة بشكل صريح. في هذا العمل، نقترح شبكة استنتاج العلاقة ثنائية الاتجاه (BRINet) لنمذجة اعتمادات المعلومات متعددة النماذج. بالتفصيل، يتم استخدام الانتباه اللغوي الموجه بالرؤية لتعلم السياق اللغوي التكيفي الذي يتوافق مع كل منطقة بصرية. بالجمع مع الانتباه البصري الموجه باللغة، يتم بناء وحدة انتباه عبر النماذج ثنائية الاتجاه (BCAM) لتعلم العلاقة بين الميزات متعددة النماذج. وبالتالي، يمكن تمثيل السياق الدلالي النهائي للهدف والتعبير المرجعي بدقة وبتماسك. بالإضافة إلى ذلك، تم تصميم وحدة دمج ثنائية الاتجاه محكومة (GBFM) لدمج الميزات متعددة المستويات حيث يتم استخدام وظيفة بوابة لتوجيه تدفق المعلومات متعددة المستويات ثنائي الاتجاه. تُظهر التجارب الواسعة على أربعة مجموعات بيانات معيارية أن الطريقة المقترحة تتفوق على الطرق الأخرى المتطورة وفقًا لمعايير تقييم مختلفة.