점진적 융합 네트워크를 통한 다중 모드 가짜 뉴스 탐지

의미 정보를 기반으로 한 다중 모드 가짜 뉴스 탐지 방법은 큰 성공을 거두었습니다. 그러나 이러한 방법은 다중 모드 정보의 깊은 특징만을 활용하므로 얕은 수준에서의 유효 정보 손실이 큽니다. 이 문제를 해결하기 위해, 우리는 다중 모드 허위 정보 탐지를 위한 점진적 융합 네트워크(MPFN)를 제안합니다. MPFN은 서로 다른 수준에서 각 모드의 표현 정보를 포착하고, 믹서를 통해 동일한 수준과 서로 다른 수준에서 모드 간의 융합을 이루어 강한 연결을 구축합니다. 구체적으로, 우리는 컴퓨터 비전 작업에 효과적인 변형기 구조를 시각적 특징 추출기로 사용하여 서로 다른 수준에서 특징을 점진적으로 샘플링하고, 텍스트 특징 추출기와 이미지 주파수 영역 정보로부터 얻은 특징을 서로 다른 수준에서 결합하여 세밀한 모델링을 구현합니다. 또한, 우리는 모드 간의 연결을 더욱 잘 확립하기 위한 특징 융합 접근 방식을 설계하여 성능을 향상시키고 문헌의 다른 네트워크 구조를 초월할 수 있도록 했습니다. 우리는 두 개의 실제 데이터 세트, Weibo와 Twitter에 대해 광범위한 실험을 실시하였으며, 우리 방법은 Twitter 데이터 세트에서 83.3%의 정확도를 달성하였고, 이는 다른 최신 방법에 비해 최소 4.3% 증가한 수치입니다. 이는 MPFN이 가짜 뉴스를 식별하는 데 효과적임을 보여주며, 서로 다른 수준의 정보를 결합하고 강력한 모드 융합 방법으로 상대적으로 고급 수준에 도달합니다.