Frontiers in Big Data / Um levantamento de ferramentas de medição e monitoramento da qualidade dos dados

Dados de alta qualidade são fundamentais para análises de dados interpretáveis e confiáveis, constituindo a base para decisões significativas baseadas em dados. Em cenários práticos, a qualidade dos dados está tipicamente associada ao pré-processamento, perfilagem e limpeza dos dados para tarefas subsequentes, como integração de dados ou análises de dados. No entanto, de uma perspectiva científica, muitas pesquisas foram publicadas sobre a mensuração (ou seja, a detecção) de problemas de qualidade dos dados e diferentes dimensões e métricas de qualidade dos dados geralmente aplicáveis foram discutidas. Neste trabalho, fechamos a lacuna entre a pesquisa sobre qualidade dos dados e as implementações práticas com uma investigação detalhada sobre como os conceitos de mensuração e monitoramento da qualidade dos dados são implementados em ferramentas de ponta. Pela primeira vez, e em contraste com todas as pesquisas existentes sobre ferramentas de qualidade dos dados, realizamos uma busca sistemática, na qual identificamos 667 ferramentas de software dedicadas à “qualidade dos dados.” Para avaliar as ferramentas, compilamos um catálogo de requisitos com três áreas de funcionalidade: (1) perfilagem de dados, (2) mensuração da qualidade dos dados em termos de métricas e (3) monitoramento automatizado da qualidade dos dados. Usando um conjunto de critérios de exclusão predefinidos, selecionamos 13 ferramentas (8 comerciais e 5 de código aberto) que fornecem os recursos investigados e não estão limitadas a um domínio específico para investigação detalhada. Por um lado, esta pesquisa permite uma discussão crítica sobre conceitos que são amplamente aceitos na pesquisa, mas dificilmente implementados em quaisquer ferramentas observadas, por exemplo, métricas de qualidade de dados geralmente aplicáveis. Por outro lado, revela potencial para aprimoramento funcional de ferramentas de qualidade dos dados e apoia praticantes na seleção de ferramentas apropriadas para um caso de uso específico.