Uma Investigação Empírica da Predição de Números Contextualizados

Realizamos uma investigação empírica em larga escala da predição de números contextualizados em texto corrido. Especificamente, consideramos duas tarefas: (1) predição de número mascarado - prever um valor numérico ausente dentro de uma frase, e (2) detecção de anomalias numéricas - detectar um valor numérico incorreto dentro de uma frase. Experimentamos combinações inovadoras de codificadores contextuais e distribuições de saída ao longo da linha de números reais. Especificamente, introduzimos um conjunto de parametrizações de distribuição de saída que incorporam variáveis latentes para adicionar expressividade e melhor se ajustar à distribuição natural de valores numéricos em texto corrido, e combinamos com arquiteturas de codificadores baseadas em recorrência e transformadores. Avaliamos esses modelos em dois conjuntos de dados numéricos nos domínios financeiro e científico. Nossos achados mostram que distribuições de saída que incorporam variáveis latentes discretas e permitem múltiplos modos superam contrapartes simples baseadas em fluxo em todos os conjuntos de dados, resultando em previsões numéricas e detecções de anomalias mais precisas. Também mostramos que nossos modelos utilizam efetivamente o contexto textual e se beneficiam de pré-treinamento não supervisionado de propósito geral.