Detecção de eventos em finanças usando algoritmos de agrupamento hierárquico em notícias e tweets

Na atual era de informações esmagadoras e produção massiva de dados textuais na Web, a Detecção de Eventos tornou-se uma tarefa cada vez mais importante em vários domínios de aplicação. Diversos ramos de pesquisa foram desenvolvidos para abordar o problema de diferentes perspectivas, incluindo Processamento de Linguagem Natural e análise de Big Data, com o objetivo de fornecer recursos valiosos para apoiar a tomada de decisões em uma ampla variedade de campos. Neste artigo, propomos uma abordagem de detecção de eventos baseada em agrupamento, específica de domínio, em tempo real, que integra informações textuais provenientes, por um lado, de agências de notícias tradicionais e, por outro lado, de plataformas de microblogging. O objetivo do pipeline implementado é duplo: (i) fornecer insights ao usuário sobre os eventos relevantes que são relatados na imprensa diariamente; (ii) alertar o usuário sobre eventos potencialmente importantes e impactantes, denominados eventos quentes, para algumas tarefas ou domínios específicos de interesse. O algoritmo identifica clusters de histórias de notícias relacionadas publicadas por fontes de imprensa globalmente renomadas, que garantem informações autoritativas e sem ruído sobre os assuntos atuais; posteriormente, o conteúdo extraído de microblogs é associado aos clusters para obter uma avaliação da relevância do evento na opinião pública. Para identificar os eventos de um dia d, criamos o léxico analisando artigos de notícias e dados de ações dos dias anteriores até d −1. Embora a abordagem possa ser estendida a uma variedade de domínios (por exemplo, política, economia, esportes), aqui apresentamos uma implementação específica no setor financeiro. Validamos nossa solução por meio de uma avaliação qualitativa e quantitativa, realizada no conjunto de dados de Dados, Notícias e Análises do Dow Jones, em um fluxo de mensagens extraídas da plataforma de microblogging Stocktwits e na série temporal do índice Standard & Poor’s 500. Os experimentos demonstram a eficácia de nossa proposta em extrair informações significativas de eventos do mundo real e em identificar eventos quentes na esfera financeira. Um valor agregado da avaliação é dado pela inspeção visual de um número selecionado de eventos significativos do mundo real, começando com o Referendo do Brexit e alcançando a recente explosão da pandemia de Covid-19 no início de 2020.