Pre-procesamiento de Big Data: Un Marco de Calidad

Con la abundancia de datos en bruto generados a partir de diversas fuentes, Big Data se ha convertido en un enfoque preeminente para adquirir, procesar y analizar grandes cantidades de datos heterogéneos para derivar evidencias valiosas. El tamaño, la velocidad y los formatos en los que se generan y procesan los datos afectan la calidad general de la información. Por lo tanto, la Calidad de Big Data (QBD) se ha convertido en un factor importante para asegurar que la calidad de los datos se mantenga en todas las fases de procesamiento de Big Data. Este artículo aborda la QBD en la fase de pre-procesamiento, que incluye subprocessos como limpieza, integración, filtrado y normalización. Proponemos un modelo de QBD que incorpora procesos para apoyar la selección y adaptación del perfil de calidad de datos. Además, rastrea y registra en un repositorio de procedencia de datos el efecto de cada transformación de datos ocurrida en la fase de pre-procesamiento. Evaluamos el módulo de selección de calidad de datos utilizando un gran conjunto de datos de EEG. Los resultados obtenidos ilustran la importancia de abordar la QBD en una fase temprana del ciclo de vida del procesamiento de Big Data, ya que ahorra significativamente en costos y realiza un análisis de datos preciso.