Key points are not available for this paper at this time.
ग्रास्प पोस एस्टिमेशन रोबोटिक मैनिपुलेशन में एक महत्वपूर्ण प्रक्रिया है। वर्तमान में अधिकांश रोबोट ग्रास्प मैनिपुलेशन सिस्टम फ्रेम-आधारित कैमरों जैसे RGB-D कैमरों पर आधारित हैं। हालाँकि, पारंपरिक फ्रेम-आधारित ग्रास्प पोस एस्टिमेशन विधियों ने कम गतिशील रेंज और कम शक्ति खपत जैसे दृश्यों में चुनौतियों का सामना किया है। इस कार्य में, एक न्यूरोमोर्फिक विजन सेंसर (DAVIS) को रोबोटिक ग्रास्प के क्षेत्र में पेश किया गया है। DAVIS एक इवेंट-बेस्ड बायो-एस्पायर्ड विजन सेंसर है जो स्थानीय पिक्सेल-स्तरीय रोशनी की तीव्रता में परिवर्तन के असंक्रामक धाराओं को रिकॉर्ड करता है, जिसे इवेंट कहा जाता है। DAVIS की ताकत यह है कि यह उच्च समयीय समाधान, उच्च गतिशील रेंज, कम शक्ति खपत और कोई गति धुंध प्रदान कर सकता है। हम 154 गतिशील वस्तुओं के साथ एक न्यूरोमोर्फिक विजन-बेस्ड रोबोटिक ग्रास्प डेटा सेट बनाते हैं, जिसका नाम NeuroGrasp है, जो कि हमारे ज्ञान के अनुसार पहला RGB-इवेंट मल्टी-मोडैलिटी ग्रास्प डेटा सेट है। यह डेटा सेट RGB फ्रेम और संबंधित इवेंट धाराओं दोनों को रिकॉर्ड करता है, जो समृद्ध रंग और बनावट जानकारी के साथ फ्रेम डेटा और उच्च समयीय समाधान और उच्च गतिशील रेंज के साथ इवेंट धाराओं को प्रदान करता है। NeuroGrasp डेटा सेट के आधार पर, हम ग्रास्प पोस एस्टिमेशन करने के लिए एक विशिष्ट यूलर-क्षेत्र-रिग्रेशन उप-नेटवर्क (ERRN) के साथ एक मल्टी-मोडल न्यूरल नेटवर्क विकसित करते हैं। फ्रेम-आधारित और इवेंट-आधारित विजन के संयोजन के साथ, प्रस्तावित विधि NeuroGrasp डेटा सेट पर केवल RGB फ्रेम या इवेंट धाराओं को इनपुट लेने वाली विधि की तुलना में बेहतर प्रदर्शन हासिल करती है।
काओ एट अल। (शनिवार,) ने इस प्रश्न का अध्ययन किया।