가이드 잔여물을 활용한 딥페이크 얼굴 위조 탐지

딥페이크 탐지를 위해, 잔여 기반 특징은 변조 흔적을 보존하고 관련 없는 이미지 내용을 억제할 수 있습니다. 하지만 부적절한 잔여 예측은 탐지 정확도에 부작용을 초래할 수 있습니다. 한편, 잔여 영역 특징은 손실 압축과 같은 일부 이미지 작업에 쉽게 영향을 받습니다. 기존 연구의 대부분은 공간 영역 또는 잔여 영역 특징을 모두 활용하며, 이는 백본 네트워크에 입력되어 특징 학습에 사용됩니다. 실제로 두 가지 유형의 특징은 서로 상호 연관되어 있습니다. 본 연구에서는 딥페이크 탐지를 위해 공간 영역과 잔여 영역 특징을 상호 보강하는 방식으로 융합하는 적응형 융합 기반 가이드 잔여물 네트워크(AdapGRnet)를 제안합니다. 구체적으로, AdapGRnet의 핵심 모듈인 세밀한 조작 흔적 추출기(MTE)를 제시합니다. 예측 기반 잔여물에 비해, MTE는 부적절한 예측으로 인해 발생할 수 있는 잠재적 편향을 피할 수 있습니다. 또한, 주의력 융합 메커니즘(AFM)이 설계되어 특징 채널 맵을 선택적으로 강조하고 두 개의 스트림에 대해 가변적으로 가중치를 할당합니다. 실험 결과, AdapGRnet은 HFF, FaceForensics++, DFDC, CelebDF를 포함한 네 개의 공개 가짜 얼굴 데이터셋에서 최신 기술보다 더 나은 탐지 정확도를 달성했습니다. 특히, AdapGRnet은 HFF-JP60 데이터셋에서 최대 96.52%의 정확도를 달성하여 약 5.50% 개선되었습니다. 즉, AdapGRnet은 기존 연구보다 더 나은 견고성을 보여줍니다.