TALI: Uma Atualização do Índice Aprendido Consciente da Distribuição para Dados de Mídia Social

Na crescente massa de dados de mídia social, como extrair de forma eficiente a coleção de preocupações de interesse se tornou um ponto quente de pesquisa. Devido ao grande tamanho e regularidade dos dados de mídia social, técnicas tradicionais de indexação não são aplicáveis. Nosso "Índice Aprendido", que é parte das soluções de inteligência em mídia social, usa princípios matemáticos para resumir as leis dos dados. Ele prevê a localização dos dados aprendendo as propriedades matemáticas da distribuição de dados para construir o modelo. Embora métodos existentes em uma única dimensão e multidimensionais, como o estabelecimento de lacunas, sejam propostos para otimizar ainda mais o desempenho do índice, eles não consideram a atualização da distribuição de dados. Neste artigo, propomos um índice aprendido consciente da atualização da distribuição para dados de mídia social (TALI) para suportar operações de atualização e lidar com o deslizamento de dados. No TALI, os dados subjacentes são aprendidos por meio de modelos de aprendizado de máquina, e um modelo hierárquico recursivo é construído. Ele também aprende a distribuição de atualização dos dados para ajustar o tamanho de cada nó folha. Assim, pode suportar de forma mais eficaz todos os tipos de operações em bancos de dados devido à diminuição do deslizamento dos nós folha. Além disso, o TALI usa o método de inserção baseado em modelo para carga em massa e consulta, resultando em um erro de previsão pequeno. Assim, a busca exponencial é utilizada para realizar uma busca secundária e melhorar a eficiência da consulta. Experimentações foram testadas e comparadas em quatro conjuntos de dados de mídia social realistas e sintéticos. Através de extensas experiências, o TALI teve um desempenho melhor do que o índice aprendido de estado da arte existente com menor ocupação de espaço em quatro conjuntos de dados de mídia social realistas e sintéticos.