تصنيف المشاعر المتعددة الأنماط عبر شبكة الانتباه متعددة المناظر

مقارنة بالمحتوى أحادي النمط، يمكن للبيانات متعددة الأنماط أن تعبر عن مشاعر المستخدمين وعواطفهم بشكل أكثر حيوية واهتمامًا. لذلك، أصبحت تحليل المشاعر متعددة الأنماط موضوع بحث شائع. ومع ذلك، فإن معظم الطرق الحالية إما تتعلم ميزات العاطفة أحادية النمط بشكل مستقل، دون الأخذ في الاعتبار ارتباطاتها، أو ببساطة تدمج الميزات متعددة الأنماط. بالإضافة إلى ذلك، تم تصنيف معظم مجموعات البيانات متعددة الأنماط المتاحة للجمهور حسب الأقطاب العاطفية، بينما المشاعر التي يعبر عنها المستخدمون هي محددة. بناءً على هذه الملاحظة، في هذه الورقة، نقوم ببناء مجموعة بيانات مشاعر متعددة الأنماط على نطاق واسع (أي مصنفة حسب مشاعر مختلفة)، تسمى TumEmo، تحتوي على أكثر من 190,000 حالة من تامبلر. نقترح أيضًا نموذج تحليل مشاعر متعدد الأنماط جديد يعتمد على شبكة الانتباه متعددة المناظر (MVAN)، التي تستخدم شبكة ذاكرة يتم تحديثها باستمرار للحصول على الميزات الدلالية العميقة للصورة والنص. يتضمن النموذج ثلاث مراحل: رسم الميزات، والتعلم التفاعلي، ودمج الميزات. في مرحلة رسم الميزات، نستخدم ميزات الصورة من وجهة نظر الكائن ووجهة نظر المشهد لالتقاط المعلومات الفعالة لتحليل المشاعر متعددة الأنماط. بعد ذلك، يتم اعتماد آلية التعلم التفاعلي التي تستخدم شبكة الذاكرة؛ تقوم هذه الآلية باستخراج ميزات المشاعر أحادية النمط ونمذجة الاعتمادات المتداخلة بين الصورة والنص بشكل تفاعلي. في مرحلة دمج الميزات، يتم دمج الميزات المتعددة بشكل عميق باستخدام شبكة عصبية متعددة الطبقات ووحدة تجميع متعددة الطبقات. تظهر نتائج التجارب على مجموعات بيانات MVSA-Single وMVSA-Multiple وTumEmo أن النموذج المقترح MVAN يتفوق على نماذج الأساس القوية بفارق كبير.