استنتاج حالات العقل في الوقت الحقيقي من تعابير الوجه وإيماءات الجسم العلوي

نقدم نظامًا في الوقت الحقيقي لاكتشاف وحدات الحركة الوجهية واستنتاج الحالات العاطفية من إيماءات الرأس والكتف وتعابير الوجه. يستخدم النظام الديناميكي ثلاثة مستويات من الاستنتاج على مقاييس زمنية تتزايد طولًا. أولاً، يتم تحديد وحدات الحركة الوجهية والتوجه الرأس من 22 نقطة ميزات ومرشحات جابور. ثانيًا، تُستخدم نماذج ماركوف المخفية لتصنيف تسلسل الحركات إلى إيماءات الرأس والكتف. أخيرًا، يُستخدم شبكة بايز الديناميكية متعددة المستويات لنمذجة الحالة العاطفية المتطورة بناءً على احتمالات الحركات المختلفة. يتم اختيار الحالة الأكثر احتمالًا على مقطع فيديو معين كعلامة لذلك المقطع. كانت متوسط درجة F1 لـ 12 وحدة حركة (AU 1، 2، 4، 6، 7، 10، 12، 15، 17، 18، 25، 26)، المعلمة على أساس إطار بإطار، 0.461. كانت متوسط معدل التصنيف لخمسة حالات عاطفية (الغضب، الخوف، الفرح، الارتياح، الحزن) 0.440. كان الحزن لديه أكبر معدل، 0.64، والغضب الأقل، 0.11.