Habilidades MAD

A medida que la adquisición y almacenamiento de datos masivos se vuelven cada vez más asequibles, una amplia variedad de empresas están contratando estadísticos para participar en análisis de datos sofisticados. En este documento destacamos la práctica emergente del análisis de datos Magnético, Ágil, Profundo (MAD) como una ruptura radical de los tradicionales Almacenes de Datos Empresariales e Inteligencia Empresarial. Presentamos nuestra filosofía de diseño, técnicas y experiencia en la provisión de análisis MAD para una de las redes publicitarias más grandes del mundo en Fox Audience Network, utilizando el sistema de base de datos paralelo Greenplum. Describimos metodologías de diseño de base de datos que respaldan el estilo de trabajo ágil de los analistas en estos entornos. Presentamos algoritmos de datos paralelos para técnicas estadísticas sofisticadas, con un enfoque en métodos de densidad. Finalmente, reflexionamos sobre las características del sistema de bases de datos que permiten un diseño ágil y un desarrollo flexible de algoritmos usando interfaces SQL y MapReduce sobre una variedad de mecanismos de almacenamiento.