Previsão de Sentimentos em Microblogs Multimodais via Aprendizado Hipergráfico Multimodal em Duas Camadas

A previsão de sentimentos em microblogs tem atraído um foco de pesquisa extensivo com amplas perspectivas de aplicação. Com a crescente proporção de tweets multimodais consistindo em imagens, textos e emoticons, novos desafios surgiram para os esquemas existentes de previsão de sentimentos. Mais crucialmente, ainda é um problema em aberto modelar a dependência entre múltiplas modalidades, onde uma ou mais modalidades podem estar ausentes. Neste artigo, apresentamos um novo aprendizado hipergráfico multimodal em duas camadas (Bi-MHG) voltado para uma previsão robusta de sentimentos de tweets multimodais para enfrentar os desafios acima. Em particular, projetamos uma estrutura de duas camadas para o modelo Bi-MHG proposto: A primeira camada, ou seja, um hipergráfico em nível de tweet, aprende a correlação entre características do tweet e a relevância do tweet para prever os sentimentos de tweets não rotulados. A segunda camada, ou seja, um hipergráfico em nível de características aprende a relevância entre diferentes modalidades de características (incluindo as características visuais em nível médio no Sentibank 1) aproveitando dicionários de sentimento multimodal prévios. Essas duas camadas estão conectadas ao compartilhar a relevância das características multimodais em um esquema de aprendizado bilayer unificado. Dessa forma, o Bi-MHG modela explicitamente a relevância da modalidade, ao invés de pesar implicitamente as características multimodais adotadas no aprendizado hipergráfico multimodal existente. Finalmente, uma otimização alternada aninhada é proposta para o aprendizado de parâmetros do Bi-MHG. Realizamos extensas avaliações em um conjunto de dados de microblogs do mundo real extraído do Sina Weibo. Para a tarefa de previsão de sentimentos multimodais, um desempenho superior foi relatado em relação a várias abordagens alternativas e de ponta, o que demonstra os méritos do esquema proposto.