합성미디어 탐지를 위한 컨볼루션 비전 트랜스포머와 컨볼루션 신경망 활용

초록 최근 몇 년간 합성미디어 기술이 급격히 발전하여 현실적인 가짜 비디오가 생성되며 진짜와 구별하기 어려운 경우가 많습니다. 소셜 미디어 플랫폼과 온라인 포럼의 확산은 잘못된 정보와 악성 콘텐츠 탐지의 도전을 더욱 악화시켰습니다. 본 연구는 합성미디어 탐지를 다루기 위해 인공지능 기법에 대한 많은 논문을 활용합니다. 이 연구는 합성미디어 탐지를 위한 딥러닝(DL) 기반의 방법을 제안합니다. 시스템은 전처리, 탐지 및 예측의 세 가지 구성 요소로 이루어져 있습니다. 전처리에는 프레임 추출, 얼굴 탐지, 정렬 및 특징 자르기가 포함됩니다. 눈과 코 특징 탐지 단계에서는 컨볼루션 신경망(CNN)이 사용됩니다. 얼굴 탐지에는 비전 트랜스포머와 결합된 CNN도 활용됩니다. 예측 구성 요소는 다수결 접근 방식을 적용하여 서로 다른 특징에 적용된 세 가지 모델의 결과를 통합하여 세 가지 개별 예측을 도출합니다. 모델은 FaceForensics++ 및 DFDC 데이터셋을 사용하여 다양한 얼굴 이미지에서 훈련됩니다. 정확도, 정밀도, F1 점수, 재현율 등 여러 성능 메트릭을 사용하여 제안된 모델의 성능을 평가합니다. 실험 결과는 97%의 정확도를 달성한 제안된 CNN의 잠재력과 강점을 나타내며, CViT 기반 모델은 FaceForensics++ 데이터셋을 사용하여 85%의 정확도로 최근 연구에 비해 합성미디어 탐지에서 상당한 개선을 보이며, 소셜 미디어에서 합성미디어를 탐지하기 위한 제안된 프레임워크의 가능성을 확증합니다. 본 연구는 합성미디어 탐지를 위한 CNN 기반 DL 방법에 대한 보다 폭넓은 이해에 기여합니다.