ديناميات تعبير الوجه المستخرج تلقائياً من الفيديو

نقدم مقارنة منهجية بين طرق التعلم الآلي المطبقة على مشكلة التعرف التلقائي الكامل لتعبيرات الوجه، بما في ذلك AdaBoost، وآلات الدعم الناقل، وتحليل التباين الخطي. يتم أولاً فحص كل إطار فيديو في الوقت الحقيقي لاكتشاف الوجوه السليمة والمواجهة للأمام. ثم يتم تغيير أحجام الوجوه المكتشفة إلى رقع صور بحجم متساوٍ، ويتم دمجها مع مجموعة من مرشحات طاقة غابور، ثم تُمرر إلى محرك التعرف الذي يقوم بتشفير تعبيرات الوجه إلى 7 أبعاد في الوقت الحقيقي: محايد، غاضب، اشمئزاز، خوف، فرح، حزن، مفاجأة. نقوم بالإبلاغ عن نتائج سلسلة من التجارب التي تقارن نطاقات التردد المكاني، وتقنيات اختيار الميزات، ومحركات التعرف. تم الحصول على أفضل النتائج من خلال اختيار مجموعة فرعية من مرشحات غابور باستخدام AdaBoost ثم تدريب آلات الدعم الناقل على مخرجات المرشحات المختارة بواسطة AdaBoost. كانت أداء التعميم للمواضيع الجديدة في خيار قسري من 7 طرق 93% أو أكثر صحيح على مجموعتين بيانات متاحتين علنياً، وهو أفضل أداء تم الإبلاغ عنه حتى الآن على هذه المجموعات. من المثير للدهشة، أنه لم تكن هناك حاجة لتسجيل الميزات الداخلية للوجه، على الرغم من أن كاشف الوجه لا يوفر صوراً مسجلة بدقة. تتغير مخرجات المصنف بسلاسة كدالة للوقت وبالتالي يمكن استخدامها لالتقاط الحركة بصورة غير ملحوظة. طورنا نظاماً من النهاية إلى النهاية يوفر رموز تعبير الوجه بمعدل 24 إطاراً في الثانية ويقوم بتحريك شخصية مولدة حاسوبياً. في الوقت الحقيقي، يعمل هذا مرآة التعبير حتى دقة 16 بكسل من عين إلى عين. كما طبقنا النظام على ترميز إجراءات الوجه تلقائياً.