Key points are not available for this paper at this time.
Die schnelle Verbreitung von Online-Informationen hat die Entwicklung multimodaler Fake News erleichtert, wodurch die Vertrauenswürdigkeit ihres Inhalts schwer zu identifizieren ist. Einige bestehende Studien erfassen zwar die Konsistenz- und Inkonsistenzmerkmale zwischen verschiedenen Modalitäten, vernachlässigen jedoch, diese beiden Arten von Merkmalen dynamisch basierend auf ihren Beiträgen während der Merkmalsfusion auszugleichen. Daher schlagen wir ein semantisches beziehungsbasiertes Konsistenz- und Inkonsistenzbalancierungsnetzwerk zur multimodalen Fake-News-Erkennung (SR-CIBN) vor. Insbesondere werden die globalen Merkmale gründlich untersucht, indem hierarchisch zwischen multimodalen Merkmalen, die durch kontrastives Lernen sowohl auf intra- als auch auf inter-modalem Niveau abgestimmt sind, durchdrungen und interagiert wird. Dann werden die globalen Konsistenz- und Inkonsistenzmerkmale durch die Interaktion zwischen den ausgewählten Schlüsselbildausschnittmerkmalen und den globalen Merkmalen ermittelt. Darüber hinaus wird die Fusionsintensität der globalen Konsistenz- und Inkonsistenzmerkmale basierend auf dem Bild-Text-Zuordnungsgrad angepasst, was zu den final optimierten Merkmalen führt. Unter dem von uns vorgeschlagenen gemeinsamen Lernrahmen wird Verwirrung zwischen semantisch ähnlichen echten und gefälschten Nachrichten effektiv vermieden, indem mit einem Triplet-Verlust basierend auf der Bild-Text-sematischen Beziehung trainiert wird. Unser Modell übertrifft vergleichbare Ansätze, wie umfassende Experimente zu den Twitter- und Weibo-Datensätzen zeigen.
Yu et al. (Mon,) haben diese Frage untersucht.