استرجاع متعدد الأنماط بناءً على دمج ميزات الهاش متعددة الأبعاد

مع الانطلاقة المستمرة والترويج لتكنولوجيا الشبكات المعلوماتية، تنمو البيانات متعددة الأنماط، بما في ذلك النصوص والصور ومقاطع الفيديو والصوت، بسرعة كبيرة. يمكننا استرجاع بيانات أنماط مختلفة لتلبية احتياجاتنا، لذلك فإن استرجاع البيانات بين الأنماط له أهمية نظرية كبيرة وقيمة تطبيقية مرتفعة. بالإضافة إلى ذلك، بما أن البيانات من أنماط مختلفة يمكن استرجاعها بشكل متبادل من خلال رسمها إلى فضاء هامينغ موحد، فقد تم استخدام رموز الهاش بشكل واسع في مجال استرجاع البيانات بين الأنماط. ومع ذلك، فإن نماذج الهاش الحالية متعددة الأنماط تولد رموز الهاش على أساس ميزات بيانات أحادية البعد، متجاهلة العلاقة الدلالية بين ميزات البيانات في أبعاد مختلفة. لذلك، تم اقتراح طريقة مبتكرة لاسترجاع البيانات متعددة الأنماط باستخدام دمج ميزات الهاش متعددة الأبعاد (MDFFH). للحصول على ميزات الصورة الدلالية متعددة الأبعاد بشكل أفضل، يتم دمج شبكة عصبية تلافيفية مع محول الرؤية لإنشاء وحدة دمج متعددة الأبعاد للصورة. وبالمثل، نطبق وحدة دمج النصوص متعددة الأبعاد على نمط النص للحصول على ميزات النص الدلالية متعددة الأبعاد. يمكن لهذين الوحدتين دمج الميزات الدلالية للبيانات في أبعاد مختلفة بفعالية من خلال دمج الميزات، مما يجعل رموز الهاش الناتجة أكثر تمثيلاً ودلالية. تشير التجارب الواسعة ونتائج التحليل المقابلة على مجموعتين من البيانات إلى أن أداء MDFFH يتفوق على النماذج الأساسية الأخرى.