वीडियो धोखाधड़ी पहचान के लिए स्थानिक-कालिक आवृत्ति धोखाधड़ी संकेत VIS और NIR परिदृश्य में

हाल के वर्षों में, चेहरे संपादन और उत्पादन के तेज विकास के साथ, सोशल मीडिया पर अधिक से अधिक नकली वीडियो प्रसारित हो रहे हैं, जिससे सार्वजनिक चिंताएँ बढ़ी हैं। आवृत्ति क्षेत्र पर आधारित मौजूदा चेहरे धोखाधड़ी पहचान विधियों ने पाया है कि GAN धोखे से निर्मित छवियों में आवृत्ति स्पेक्ट्रम में स्पष्ट ग्रिड जैसी दृश्य कलाएँ होती हैं। लेकिन सिंथेसाइज किए गए वीडियो के लिए, ये विधियाँ केवल एकल फ्रेम तक सीमित हैं और विभिन्न फ्रेमों के बीच सबसे विभेदात्मक भाग और कालिक आवृत्ति संकेत पर थोड़ा ध्यान देती हैं। वीडियो अनुक्रम में समृद्ध जानकारी का पूरा लाभ उठाने के लिए, यह पत्र स्थानिक और कालिक आवृत्ति क्षेत्रों पर वीडियो धोखाधड़ी पहचान करता है और एक विवर्तनिक कोसाइन रूपांतरण-आधारित धोखाधड़ी संकेत संवर्धन नेटवर्क (FCAN-DCT) का प्रस्ताव करता है ताकि एक अधिक समग्र स्पेक्ट्रम स्थानिक-कालिक विशेषता प्रतिनिधित्व प्राप्त किया जा सके। FCAN-DCT पूरी तरह से एक अभिव्यक्ति नेटवर्क और दो शाखाओं से मिलकर बना है: संकुचित विशेषता निष्कर्षण (CFE) मॉड्यूल और आवृत्ति कालिक ध्यान (FTA) मॉड्यूल। हम तीन दृश्यमान प्रकाश (VIS) आधारित डेटा सेटों (जैसे, FaceForensics++, Celeb-DF (v2), WildDeepfake) और हमारे स्वयं निर्मित वीडियो धोखाधड़ी डेटा सेट DeepfakeNIR पर गहन प्रयोगात्मक मूल्यांकन करते हैं, जो निकट-अवरक्त (NIR) विधा पर पहला वीडियो धोखाधड़ी डेटा सेट है। प्रयोगात्मक परिणाम हमारे विधि की प्रभावशीलता और दृढ़ता को प्रदर्शित करते हैं जो दोनों VIS और NIR परिदृश्यों में धोखाधड़ी वीडियो का पता लगाने में हैं। DeepfakeNIR और कोड उपलब्ध हैं https://github.com/AEP-WYK/DeepfakeNIR पर।