न्यूस्पाइक-नेट: बायो-प्रेरित न्यूरोमोर्फिक कैमरों के माध्यम से उच्च गति वीडियो पुनर्निर्माण

न्यूरोमोर्फिक दृष्टि सेंसर एक नया बायो-प्रेरित इमेजिंग पैराजिग्म है जो हाल के वर्षों में उभरा है, जो लगातार रोशनी की तीव्रता का संवेदीकरण करता है और उच्च समयात्मक संकल्प के साथ असिंक्रोनस स्पाइक्स (घटनाएँ) उत्पन्न करता है। आमतौर पर, दो प्रकार के न्यूरोमोर्फिक दृष्टि सेंसर होते हैं, अर्थात् डायनेमिक दृष्टि सेंसर (DVS) और स्पाइक कैमरा। बायो-प्रेरित सैंपलिंग के दृष्टिकोण से, DVS केवल मुवमेंट को पहचानता है जबकि स्पाइक कैमरा को फोविया की नकल करके बारीक बनावट को पहचानने के लिए विकसित किया गया था। यह जांचना महत्वपूर्ण है कि कैसे मानव दृष्टि की तरह उच्च गुणवत्ता की छवि पुनर्निर्माण के लिए दो प्रकार के न्यूरोमोर्फिक कैमरों को संयोजित किया जा सकता है। इस पेपर में, हम न्यूस्पाइक-नेट का प्रस्ताव करते हैं ताकि DVS की उच्च गतिशील रेंज और उच्च गति संवेदनशीलता और स्पाइक कैमरा के पूर्ण बनावट सैंपलिंग को सीख सकें, ताकि उच्च गति और उच्च गतिशीलता की छवि पुनर्निर्माण प्राप्त की जा सके। हम एक नवीन प्रतिनिधित्व का प्रस्ताव करते हैं ताकि स्पाइक और इवेंट डेटा की समयिक जानकारी को प्रभावी ढंग से निकाला जा सके। फीचर फ्यूजन मॉड्यूल को पेश करके, दोनों प्रकार के न्यूरोमोर्फिक डेटा के बीच पूरकता प्राप्त की जाती है। अनुकरणीय और वास्तविक डेटासेट पर प्रयोगात्मक परिणाम दिखाते हैं कि प्रस्तावित विधि स्पाइक और इवेंट डेटा के संयोजन के माध्यम से उच्च गति और उच्च गतिशील रेंज छवियों को पुनर्निर्माण के लिए प्रभावी है।