الاهتمام المتقاطع المشترك التكراري للاندماج متعددmodal في التعرف على العواطف بعدية الأبعاد

على الرغم من أن التعرف على العواطف متعددmodal قد حقق تقدمًا كبيرًا في السنوات الأخيرة، إلا أن الإمكانات الكبيرة للعلاقات التآزرية الغنية عبرmodal غير مستغلة بالكامل. في هذه الورقة، نقدم الاهتمام المتقاطع المشترك التكراري (RJCMA) لالتقاط العلاقات داخلmodal و بينmodal بشكل فعال عبرmodal الصوتية، والمرئية، والنصية للتعرف على العواطف بعدية الأبعاد. بشكل خاص، نقوم بحساب أوزان الاهتمام بناءً على الارتباط المتبادل بين تمثيلات الخصائص الصوتية-البصرية-النصية المشتركة وتمثيلات الخصائص للmodal الفردية لالتقاط العلاقات داخلmodal و بينmodal عبرmodal في وقت واحد. يتم إدخال الخصائص التي تم الانتباه إليها للmodal الفردية مرة أخرى كمدخلات إلى نموذج الاندماج في آلية تكرارية للحصول على تمثيلات خصائص أكثر دقة. لقد استكشفنا أيضًا الشبكات العصبية التلافيفية الزمنية (TCNs) لتحسين النمذجة الزمنية لتمثيلات الخصائص للmodal الفردية. تم إجراء تجارب واسعة لتقييم أداء نموذج الاندماج المقترح على مجموعة بيانات Affwild2 الصعبة. من خلال التقاط العلاقات التآزرية داخلmodal و بينmodal عبرmodal الصوتية، والمرئية، والنصية بشكل فعال، حقق نموذج الاندماج المقترح معامل التوافق (CCC) بقيمة 0.585 (0.542) و 0.674 (0.619) للمدى والاثارة، على التوالي، على مجموعة التحقق (مجموعة الاختبار). وهذا يُظهر تحسينًا كبيرًا على خط الأساس الذي كان 0.240 (0.211) و 0.200 (0.191) للمدى والاثارة، على التوالي، في مجموعة التحقق (مجموعة الاختبار)، محققًا المركز الثاني في تحدي المدى-الاثارة في مسابقة تحليل السلوك العاطفي في البراري السادس (ABAW). الرمز متاح على GitHub: https://github.com/praveena2j/RJCMA.