NiagaraCQ

Las consultas continuas son consultas persistentes que permiten a los usuarios recibir nuevos resultados cuando están disponibles. Si bien los sistemas de consultas continuas pueden transformar una web pasiva en un entorno activo, necesitan poder soportar millones de consultas debido a la escala de Internet. Ningún sistema existente ha alcanzado este nivel de escalabilidad. NiagaraCQ aborda este problema agrupando consultas continuas basándose en la observación de que muchas consultas web comparten estructuras similares. Las consultas agrupadas pueden compartir el cálculo común, tienden a caber en memoria y pueden reducir significativamente el costo de I/O. Además, agrupar según predicados de selección puede eliminar un gran número de invocaciones de consultas innecesarias. Nuestra técnica de agrupamiento se distingue de enfoques de optimización de grupos anteriores de las siguientes maneras. Primero, utilizamos una estrategia de optimización de grupo incremental con reagrupamiento dinámico. Nuevas consultas se añaden a grupos de consultas existentes, sin necesidad de reagrupar consultas ya instaladas. En segundo lugar, utilizamos un esquema de división de consultas que requiere cambios mínimos en un motor de consultas de propósito general. En tercer lugar, NiagaraCQ agrupa tanto consultas basadas en cambios como basadas en temporizador de manera uniforme. Para asegurar que NiagaraCQ sea escalable, también hemos empleado otras técnicas, incluyendo la evaluación incremental de consultas continuas, el uso de modelos de extracción y empuje para detectar cambios en fuentes de datos heterogéneas y almacenamiento en caché de memoria. Este artículo presenta el diseño del sistema NiagaraCQ y proporciona algunos resultados experimentales sobre el rendimiento y escalabilidad del sistema.