Key points are not available for this paper at this time.
A análise de sentimento de conteúdo gerado por usuários online é importante para muitas tarefas de análise de mídias sociais. Os pesquisadores têm se baseado amplamente na análise de sentimento textual para desenvolver sistemas que preveem eleições políticas, medem indicadores econômicos e assim por diante. Recentemente, os usuários de mídias sociais estão usando cada vez mais imagens e vídeos adicionais para expressar suas opiniões e compartilhar suas experiências. A análise de sentimento de tal conteúdo textual e visual em larga escala pode ajudar a extrair melhor os sentimentos dos usuários em relação a eventos ou tópicos. Motivados pela necessidade de aproveitar o conteúdo multimídia social em larga escala para análise de sentimento, propomos um modelo de regressão consistente entre modos (CCR), que é capaz de utilizar tanto as técnicas de análise de sentimento visual quanto textual de ponta. Primeiro, afinamos uma rede neural convolucional (CNN) para análise de sentimento de imagem e treinamos um modelo de vetor de parágrafo para análise de sentimento textual. Com base neles, treinamos nosso modelo de regressão multimodal. Utilizamos consultas sentimentais para obter quinhentos mil exemplos de treinamento da Getty Images. Realizamos extensos experimentos tanto com tweets de imagem rotulados de forma fraca por máquinas quanto manualmente. Os resultados mostram que o modelo proposto pode alcançar um desempenho melhor do que os algoritmos de análise de sentimento textual e visual de ponta isoladamente.
Você et al. (Qui,) estudaram esta questão.