استغلال الوجوه المتحدثة الحقيقية عبر الإشراف الذاتي للكشف عن التزوير بشكل قوي

تُعَدّ واحدة من أكبر التحديات في كشف فيديوهات الوجه المعدلة هي تعميم طرق التزوير التي لم تُرَ خلال التدريب بينما تبقى فعالة تحت الفساد الشائع مثل الضغط. في هذه الورقة، نفحص ما إذا كان بإمكاننا معالجة هذه المسألة من خلال استغلال فيديوهات الوجوه المتحدثة الحقيقية، التي تحتوي على معلومات غنية حول المظهر والسلوك الطبيعي للوجه ومتاحة بكميات كبيرة على الإنترنت. تتكون طريقتنا، التي تُسمى RealForensics، من مرحلتين. أولاً، نستفيد من العلاقة الطبيعية بين الوسائط البصرية والسمعية في الفيديوهات الحقيقية لتعلم، بطريقة إشراف ذاتي عبر الوسائط المتعددة، تمثيلات فيديو كثيفة زمنياً تلتقط عوامل مثل حركات الوجه، التعبير، والهوية. ثانياً، نستخدم هذه التمثيلات المستفادة كأهداف ليتم التنبؤ بها بواسطة كاشف التزوير الخاص بنا إلى جانب مهمة تصنيف التزوير الثنائية المعتادة؛ هذا يشجعها على اعتماد قرارها بشأن الحقيقي/المزيف على هذه العوامل. نظهر أن طريقتنا تحقق أداءً رائداً في تجارب التعميم عبر التلاعب والصلابة، ونفحص العوامل التي تسهم في أدائها. تشير نتائجنا إلى أن استغلال فيديوهات طبيعية وغير معلمة هو اتجاه واعد لتطوير كاشفات تزوير الوجه الأكثر ثباتاً.