Filtragem de Informações enquanto Explora! Extração de Relações Multimodal com Denoising de Recursos e Modelagem de Tópicos Multimodal

A pesquisa existente sobre extração de relações multimodal (MRE) enfrenta dois desafios coexistentes, a superutilização de informações internas e a subexploração de informações externas. Para combater isso, propomos uma nova estrutura que simultaneamente implementa a ideia de filtragem de informações internas e exploração de informações externas. Primeiro, representamos as estruturas semânticas detalhadas da imagem e do texto de entrada com gráficos de cena visuais e textuais, que são então fundidos em um gráfico unificado cross-modal (CMG). Com base no CMG, realizamos um refinamento estrutural com a orientação do princípio de gargalo de informação do gráfico, desruído ativamente os recursos menos informativos. Em seguida, realizamos modelagem de tópicos sobre a imagem e o texto de entrada, incorporando características latentes de tópicos multimodal para enriquecer os contextos. No conjunto de dados de referência MRE, nosso sistema supera significativamente o melhor modelo atual. Com análises mais profundas, revelamos o grande potencial do nosso método para a tarefa MRE.