Limpeza de dados holística: Colocando violações em contexto

A limpeza de dados é um problema importante e as regras de qualidade de dados são a abordagem mais promissora para enfrentá-lo de forma declarativa. Trabalhos anteriores se concentraram em formalismos específicos, como dependências funcionais (FDs), dependências funcionais condicionais (CFDs) e dependências de correspondência (MDs), e esses sempre foram estudados de forma isolada. Além disso, tais técnicas costumam ser aplicadas em um pipeline ou intercaladas. Neste trabalho, abordamos o problema em uma nova estrutura unificada. Primeiro, permitimos que os usuários especifiquem regras de qualidade usando restrições de negação com predicados ad-hoc. Esta linguagem subsume os formalismos existentes e pode expressar regras envolvendo valores numéricos, com predicados como “maior que” e “menor que”. Mais importante, exploramos a interação das restrições heterogêneas codificando-as em um hipergrafo de conflitos. Esta visão holística dos conflitos é o ponto de partida para uma nova definição de contexto de reparo que nos permite calcular automaticamente reparos de melhor qualidade em relação a abordagens anteriores na literatura. Resultados experimentais em conjuntos de dados reais mostram que a abordagem holística supera algoritmos anteriores em termos de qualidade e eficiência do reparo.