跨模态模糊学习用于多模态假新闻检测

跨模态学习对于准确的假新闻检测至关重要，因为在线社交社区中的多模态内容迅速增长。多模态假新闻检测的一个基本挑战在于不同内容模态之间内在的模糊性，即来自单一模态的决策可能相互不一致，这可能导致多模态假新闻检测效果不佳。为了解决这个问题，我们从信息理论的角度提出了跨模态模糊学习问题，并提出了CAFE——一种注重模糊性的多模态假新闻检测方法。CAFE包括1) 一个跨模态对齐模块，将异构单模态特征转化为共享的语义空间，2) 一个跨模态模糊学习模块，用于估计不同模态之间的模糊性，以及3) 一个跨模态融合模块，以捕捉跨模态相关性。CAFE通过明智和自适应地聚合单模态特征和跨模态相关性来提高假新闻检测的准确性，即在跨模态模糊性弱时依赖单模态特征，在跨模态模糊性强时参考跨模态相关性。在两个广泛使用的数据集（Twitter和微博）上的实验研究表明，CAFE在准确性上比最先进的假新闻检测方法分别提高2.2-18.9%和1.7-11.4%。