Interpretando los Datos: Análisis Paralelo con Sawzall

Los conjuntos de datos muy grandes a menudo tienen una estructura plana pero regular y abarcan múltiples discos y máquinas. Ejemplos incluyen registros de llamadas telefónicas, registros de red y repositorios de documentos web. Estos grandes conjuntos de datos no son susceptibles de estudio utilizando técnicas de base de datos tradicionales, si solo por el hecho de que pueden ser demasiado grandes para caber en una sola base de datos relacional. Por otro lado, muchos de los análisis realizados sobre ellos pueden expresarse utilizando cálculos simples y fácilmente distribuibles: filtrado, agregación, extracción de estadísticas, y así sucesivamente. Presentamos un sistema para automatizar tales análisis. Una fase de filtrado, en la que se expresa una consulta utilizando un nuevo lenguaje de programación procedural, emite datos a una fase de agregación. Ambas fases están distribuidas en cientos o incluso miles de computadoras. Los resultados se recopilan y se guardan en un archivo. El diseño, que incluye la separación en dos fases, la forma del lenguaje de programación y las propiedades de los agregadores, explota el paralelismo inherente de tener datos y cálculos distribuidos en muchas máquinas.