감독 다중 특징 융합 주의 네트워크 기반 얼굴 조작 탐지

요즘 비디오에서 얼굴을 쉽게 교체할 수 있는 심층 학습의 발전으로 인해 이러한 조작된 비디오는 현실적이며 인간의 눈으로 구별할 수 없습니다. 일부 사람들은 이 기술을 악의적으로 사용하여 다른 사람, 특히 유명인과 정치인들을 공격하여 파괴적인 사회적 영향을 미칩니다. 따라서 얼굴 조작을 탐지하기 위한 정확한 방법을 설계하는 것이 매우 중요합니다. 그러나 대부분의 기존 방법은 특징 추출 모듈로 단일 합성곱 신경망을 사용하여 추출된 특성이 인간의 시각 메커니즘과 일치하지 않게 합니다. 또한, 단일 특징으로는 풍부한 세부정보와 의미 정보를 반영할 수 없어 탐지 성능이 제한됩니다. 따라서 본 논문에서는 감독 다중 특징 융합 주의 네트워크(SMFAN)를 기반으로 한 새로운 얼굴 조작 탐지 방법을 제안하여 위의 문제를 해결합니다. 구체적으로, 캡슐 네트워크를 얼굴 조작 탐지에 사용하고, SMFAN을 원래의 캡슐 네트워크에 추가하여 가짜 얼굴 이미지의 세부 사항을 추출합니다. 또한, 어려운 예시 채굴을 실현하기 위해 초점 손실을 사용합니다. 마지막으로, 공개 데이터 세트 FaceForensics++의 실험 결과는 제안된 방법이 더 나은 성능을 보임을 보여줍니다.