टेक्स्ट-से-इवेंट्स: कंडीशनल टेक्स्ट इनपुट से कृत्रिम इवेंट कैमरा स्ट्रीम

इवेंट कैमरे उन कार्यों के लिए फायदेमंद होते हैं जो कम-व्यवधान औरSparse आउटपुट प्रतिक्रियाओं के साथ दृष्टि संवेदकों की आवश्यकता होती हैं। हालाँकि, इवेंट कैमरों का उपयोग करके गहरे नेटवर्क एल्गोरिदम का विकास धीमा रहा है, क्योंकि नेटवर्क प्रशिक्षण के लिए बड़े लेबल वाले इवेंट कैमरा डेटासेट की कमी है। यह पेपर नई लेबल वाली इवेंट डेटासेट बनाने के लिए एक विधि की रिपोर्ट करता है, जिसमें टेक्स्ट-से-X मॉडल का उपयोग किया गया है, जहाँ X एक या एकाधिक आउटपुट माध्यम हैं, इस काम के मामले में, इवेंट्स। हमारा प्रस्तावित टेक्स्ट-से-इवेंट्स मॉडल टेक्स्ट प्रम्प्ट से सीधे कृत्रिम इवेंट फ़्रेम उत्पन्न करता है। यह एक ऑटोकोडर का उपयोग करता है जिसे इवेंट कैमरा आउटपुट का प्रतिनिधित्व करने वालेSparse इवेंट फ़्रेम उत्पन्न करने के लिए प्रशिक्षित किया गया है। पूर्व-प्रशिक्षित ऑटोकोडर को एक प्रसार मॉडल आर्किटेक्चर के साथ मिलाकर, नया टेक्स्ट-से-इवेंट्स मॉडल चलती वस्तुओं केSmooth कृत्रिम इवेंट स्ट्रीम उत्पन्न करने में सक्षम है। ऑटोकोडर को विविध दृश्यों के इवेंट कैमरा डेटासेट पर पहले प्रशिक्षित किया गया था। प्रसार मॉडल के साथ संयुक्त प्रशिक्षण में, DVS इशारा डेटासेट का उपयोग किया गया था। हम प्रदर्शित करते हैं कि मॉडल विभिन्न टेक्स्ट बयानों द्वारा प्रेरित मानव इशारों की यथार्थवादी इवेंट अनुक्रम उत्पन्न कर सकता है। उत्पन्न अनुक्रमों की वर्गीकरण सटीकता, जिसे वास्तविक डेटासेट पर प्रशिक्षित क्लासिफायर का उपयोग करके मापा गया, 42% से 92% के बीच होती है, जो इशारा समूह पर निर्भर करता है। परिणाम इस विधि की इवेंट डेटासेट्स को संश्लेषित करने की क्षमता को दर्शाते हैं।