डबल-चैनल चेहरे की छवियों पर आधारित वेटेड मिक्सचर डीप न्यूरल नेटवर्क का उपयोग करके चेहरे की अभिव्यक्ति की पहचान

चेहरे की अभिव्यक्ति की पहचान (FER) मशीनों के लिए मानवों में भावनात्मक परिवर्तनों को समझने का एक महत्वपूर्ण कार्य है। हालांकि, अभिव्यक्ति में होने वाले परिवर्तनों से अत्यधिक संबंधित सटीक हाथ से बने विशेषताएँ निकालना मुश्किल है क्योंकि यह व्यक्तिगत भिन्नता और भावनात्मक तीव्रता में भिन्नताओं के प्रभाव के कारण है। इसलिए, ऐसी विशेषताओं की आवश्यकता है जो चेहरे की अभिव्यक्तियों में परिवर्तनों का सटीक वर्णन कर सकें। विधि: एक वेटेड मिक्सचर डीप न्यूरल नेटवर्क (WMDNN) प्रस्तावित किया गया है जो स्वचालित रूप से FER कार्यों के लिए प्रभावी विशेषताएँ निकालता है। चेहरे की पहचान, घुमाव समायोजन, और डेटा संवर्धन जैसी कई पूर्व-प्रसंस्करण दृष्टिकोणों को FER के क्षेत्रों को प्रतिबंधित करने के लिए लागू किया गया है। चेहरे की छवियों के दो चैनल, जिसमें चेहरे की ग्रेस्केल छवियाँ और उनके संबंधित स्थानीय बाइनरी पैटर्न (LBP) चेहरे की छवियाँ शामिल हैं, WMDNN द्वारा संसाधित की जाती हैं। चेहरे की ग्रेस्केल छवियों की अभिव्यक्ति से संबंधित विशेषताएँ एक आंशिक VGG16 नेटवर्क को ठीक-ट्यून करके निकाली जाती हैं, जिसके पैरामीटर को ImageNet डेटाबेस पर प्रशिक्षित VGG16 मॉडल का उपयोग करके प्रारंभ किया गया है। LBP चेहरे की छवियों की विशेषताएँ एक गहरे कन्वॉल्यूशनल न्यूरल नेटवर्क (CNN) द्वारा निकाली जाती हैं जो DeepID के आधार पर निर्मित है। दोनों चैनलों के आउटपुट को एक वेटेड तरीके से फ्यूज किया जाता है। अंतिम पहचान का परिणाम सॉफ्टमैक्स वर्गीकरण का उपयोग करके गणना की जाती है। परिणाम: प्रयोगात्मक परिणाम दर्शाते हैं कि प्रस्तावित एल्गोरिदम छह बुनियादी चेहरे की अभिव्यक्तियों (खुशी, tristeza, गुस्सा, घृणा, डर, और आश्चर्य) को उच्च सटीकता के साथ पहचान सकता है। बेंचमार्क डेटा सेट