초록 소셜 미디어에서 멀티미디어 콘텐츠의 증가는 가짜 뉴스의 확산을 가속화하여 사회 안정성에 심각한 위험을 초래하고 공공 신뢰를 약화시키고 있습니다. 따라서 가짜 뉴스 탐지는 심각한 도전 과제가 되었습니다. 현재의 다중 모드 가짜 뉴스 탐지 방법은 종종 이미지의 기본 주파수 영역 특징을 추출하는 데 실패하며, 다양한 모드의 특징을 효과적으로 추출하고 통합하기 어려워 약한 모드 간 상관관계와 결정 갈등이 주요 성능 병목 현상이 되었습니다. 효과적인 다중 모드 특징 상호 작용 전략과 적응형 모드 가중치 메커니즘 설계가 성능 개선을 위한 핵심 도전 과제가 되었습니다. 이를 위해 우리는 단일 모드 및 다중 모드 융합 네트워크(UMFN)를 제안합니다. 이 네트워크는 텍스트, 시각 및 주파수 영역 특징을 포착하기 위해 세 개의 분기 인코더를 사용하고, 융합 효과를 개선하기 위해 모드 간 의존성을 탐구하는 병렬 다중 모드 특징 상호 작용 전략을 사용합니다. 또한 사전 훈련된 CLIP 모델을 사용하여 단일 모드와 다중 모드 특징의 기여를 균형 있게 조절하기 위한 적응형 모드 가중치 메커니즘을 채택합니다. 이러한 설계는 약한 모드 간 상관관계를 완화하고 불일치하는 모드로 인한 결정 갈등을 효과적으로 완화합니다. 두 개의 벤치마크 데이터 세트에 대한 실험 평가에서 UMFN은 최신 방법을 능가하여 특징 추출, 상호 작용 및 균형 조정에서의 효율성을 입증합니다. 이러한 발견은 가짜 뉴스 탐지의 발전에서 효율적인 다중 모드 상호 작용과 적응형 가중치의 중요한 역할을 강조하며, 더 신뢰할 수 있는 탐지 방법 개발의 기초를 마련합니다.
Yang et al. (Mon,)은 이 질문을 연구하였습니다.