تمثيلات تفاعلية متعددة المناظر لتحليل المشاعر المتعددة الوسائط

تكنولوجيا تحليل المشاعر المتعددة الوسائط (MSA)، الشائعة في تطبيقات المستهلكين وحوسبة الحافة المتنقلة (MEC)، تمكن من فحص المشاعر من خلال بيانات المستخدم التي تم جمعها بواسطة الأجهزة الذكية. على الرغم من التركيز على تعلم التمثيل في MSA، إلا أن الطرق الحالية غالبًا ما تعطي الأولوية لأداء التعرف من خلال تفاعل الوسائط ودمجها. ومع ذلك، فإنها تعاني من صعوبة في التقاط إشارات المشاعر متعددة المناظر عبر حالات التفاعل المختلفة، مما يحد من تعبير تمثيلات المشاعر المتعددة الوسائط. تطور هذه الورقة إطار عمل مبتكر لـ MSA، هو MVIR، يتعلم تمثيلات تفاعلية متعددة المناظر في حالات تفاعل متنوعة. تم تمكين فهم شامل لتوجهات المشاعر متعددة المناظر من خلال مهام مشاعر مصممة بعناية وخوارزمية توليد تسميات ذاتية الإشراف (SSLGM) تم تقديمها. تم تصميم وحدة دمج مزدوجة المنظر مع انتباه موزون (DVAWF) لتسهيل تبادل المعلومات بين الوسائط في حالات التفاعل المختلفة. تؤكد التجارب الواسعة على ثلاثة مجموعات بيانات لـ MSA فعالية وتفوق MVIR، مما يظهر قدرته على التقاط معلومات المشاعر من البيانات المتعددة الوسائط عبر حالات التفاعل المختلفة.