बृहद तंत्रिका नेटवर्क मानव गतिविधि पहचान के लिए कई एक्सीलरोमीटर और जाईरोस्कोप सेंसर का उपयोग करना

मानव गतिविधि पहचान में संवेगात्मक सेंसर जैसे एक्सीलरोमीटर या जाईरोस्कोप पर मापी गई समय श्रृंखला डेटा को पूर्व-परिभाषित क्रियाओं में वर्गीकृत करना शामिल है। हाल ही में, बृहद तंत्रिका नेटवर्क (CNN) ने मानव गतिविधि पहचान के लिए एक शक्तिशाली तकनीक के रूप में खुद को स्थापित किया है, जहां संकुचन और पूलिंग ऑपरेशन सेंसर सिग्नल के समयिक आयाम के साथ लागू होते हैं। मौजूदा काम के अधिकांश हिस्से में, 1डी संकुचन ऑपरेशन को व्यक्तिगत एक-परिवर्तक समय श्रृंखलाओं पर लागू किया जाता है, जबकि बहु-सेंसर या बहु-मॉडलिटी से मल्टी-वेरिएट समय श्रृंखलाएँ उत्पन्न होती हैं। 2डी संकुचन और पूलिंग ऑपरेशन मल्टी-वेरिएट समय श्रृंखलाओं पर लागू होते हैं, ताकि एकल-मॉडल डेटा के लिए समयिक और स्थानिक डोमेन के साथ स्थानीय निर्भरता को पकड़ा जा सके, ताकि यह 1डी ऑपरेशन की तुलना में कम संख्याओं के साथ उच्च प्रदर्शन हासिल कर सके। हालाँकि, बहु-मॉडल डेटा के लिए मौजूदा CNNs 2डी ऑपरेशन के साथ विभिन्न मॉडालिटीज को समान तरीके से संभालते हैं, जो विभिन्न मॉडालिटीज से विशेषताओं के बीच हस्तक्षेप का कारण बनता है। इस पत्र में, हम बहु-मॉडल डेटा के लिए CNNs (CNN-pf और CNN-pff), विशेष रूप से CNN-pff प्रस्तुत करते हैं। हम अपने CNN मॉडलों के लिए आंशिक वजन साझा करने और पूर्ण वजन साझा करने दोनों का उपयोग करते हैं, इस प्रकार कि मॉडालिटी-विशिष्ट विशेषताएँ और साथ ही विभिन्न मॉडालिटीज में सामान्य विशेषताएँ बहु-मॉडल (या बहु-सेंसर) डेटा से सीखी जाती हैं और अंततः ऊपरी परतों में समेकित की जाती हैं। बेंचमार्क डेटा सेट पर प्रयोग हमारे CNN मॉडलों के उच्च प्रदर्शन को दर्शाते हैं, जो वर्तमान तकनीकों की तुलना में हैं।