التعرف على المشاعر متعدد النماذج باستخدام تحليل الارتباط الكنسي العميق

إن الإشارات متعددة النماذج أكثر قوة من البيانات أحادية النموذج في التعرف على المشاعر لأنها تستطيع تمثيل المشاعر بشكل شامل. في هذه الورقة، نقدم تحليل الارتباط الكنسي العميق (DCCA) للتعرف على المشاعر متعددة النماذج. الفكرة الأساسية وراء DCCA هي تحويل كل نموذج على حدة وتنسيق النماذج المختلفة في فراغ افتراضي باستخدام قيود محددة لتحليل الارتباط الكنسي. نقوم بتقييم أداء DCCA على خمسة مجموعات بيانات متعددة النماذج: مجموعات بيانات SEED وSEED-IV وSEED-V وDEAP وDREAMER. تظهر نتائجنا experimental أن DCCA تحقق معدلات دقة التعرف المتقدمة على جميع المجموعات الخمس: 94.58% على مجموعة بيانات SEED، و87.45% على مجموعة بيانات SEED-IV، و84.33% و85.62% لمهام تصنيف ثنائية، و88.51% لمهمة تصنيف بأربع فئات على مجموعة بيانات DEAP، و83.08% على مجموعة بيانات SEED-V، و88.99% و90.57% و90.67% لثلاث مهام تصنيف ثنائية على مجموعة بيانات DREAMER. نقوم أيضًا بمقارنة مقاومة الضوضاء لـ DCCA بتلك الخاصة بالطرق الموجودة عند إضافة كميات مختلفة من الضوضاء إلى مجموعة بيانات SEED-V. تشير النتائج experimental إلى أن DCCA لديها مقاومة أكبر. من خلال تصور توزيعات الميزات باستخدام t-SNE وحساب المعلومات المتبادلة بين النماذج المختلفة قبل وبعد استخدام DCCA، نجد أن الميزات التي تم تحويلها بواسطة DCCA من نماذج مختلفة أكثر تجانسًا وتمييزًا عبر المشاعر.